17.在BDR不可用时复制数据

最新推荐文章于 2022-01-14 14:04:18 发布
最新推荐文章于 2022-01-14 14:04:18 发布
阅读量227 收藏 2
点赞数 1
分类专栏： Hadoop 文章标签： CDH Hadoop BDR Kerberos CM
@大勇若怯任卷舒
本文链接：https://blog.csdn.net/m0_47454596/article/details/118328042
版权

17.1 实验环境介绍

  • Kerberos集群与非Kerberos集群已搭建完成，并正常运行
  • 两个集群都安装了HttpFS服务

17.2 CDH的BDR功能验证

  • 分别在两个集群进行BDR配置
    • 分别在两个集群进行同行集群配置，以下为配置步骤。
      • 在CM主页点击“备份”->“同行”，进入配置界面
      • 点击“Add Peer”添加集群信息
  • PeerName：定义一个同行集群的名称
  • PeerURL:同行集群CM访问地址
  • PeerAdmin Username：同行集群的管理员账号
  • PeerAdmin Password：同行集群的管理密码
  • 点击添加，查看状态是否为“已连接”

17.3 在非Kerberos集群测试BDR

  • 在CM主页点击“备份”->“复制计划”
  • 创建一个HDFS复制计划
  • 点击保存，提示如下错误
  • 在Kerberos集群测试BDR
    • 创建一个HDFS复制计划
    • 点击保存，提示如下错误
  • 通过如上操作得出，CDH的BDR功能不支持安全集群与非安全集群之间的数据复制；

17.4 Hadoop的DistCp集群间数据复制

源集群（Source）：指要迁移和复制数据的集群
目标集群（Destination）：指存储迁移数据的集群

  • 集群间数据迁移的要求和限制
    • 运行DistCp命令的集群必须启动MapReduce服务（MRV1或YARN（MRV2）），因为DictCp命令运行的是MapReduce作业。
    • 运行DistCp命令的集群中所有的MapReduce节点与源集群所有节点的网络是通的。
    • 在Kerberos集群与非Kerberos集群之间复制数据，必须在Kerberos集群上执行DistCp命令
  • 集群之间数据复制方式
    • 如果源是非Kerberos环境，目标是Kerberos环境，则在目标集群运行命令，对源集群使用WebHDFS，目标集群使用HDFS或者WebHDFS协议。
    • 如果源是Kerberos环境，目标是非Kerberos环境，则在源集群运行命令，对源集群使用HDFS或者WebHDFS，目标集群使用WebHDFS协议。

17.5 Distcp使用

以下操作均在Kerberos集群上执行

17.5.1 非Kerberos到Kerberos集群数据复制

  • 非Kerberos集群为源集群，Kerberos集群为目标集群。
  • 以下操作是将源集群/data目录的数据复制到目标集群的/sourcedata目录
  • 查看源集群/data目录
[root@ip-172-31-6-148 ~]# hadoop fs -ls /data
Found 2 items
drwxr-xr-x   - root supergroup          0 2017-08-31 14:19 /data/cdh-shell
-rw-r--r--   3 root supergroup    5279500 2017-08-31 14:11 /data/kudu.tar.gz
[root@ip-172-31-6-148 ~]# hadoop fs -ls /data/cdh-shell
Found 9 items
-rw-r--r--   3 root supergroup         60 2017-08-31 14:19 /data/cdh-shell/README.md
-rw-r--r--   3 root supergroup        125 2017-08-31 14:19 /data/cdh-shell/a.sh
-rw-r--r--   3 root supergroup       5470 2017-08-31 14:19 /data/cdh-shell/autouninstall.sh
-rw-r--r--   3 root supergroup        145 2017-08-31 14:19 /data/cdh-shell/b.sh
-rw-r--r--   3 root supergroup        498 2017-08-31 14:19 /data/cdh-shell/components.list
-rw-r--r--   3 root supergroup       2438 2017-08-31 14:19 /data/cdh-shell/delete.list
-rw-r--r--   3 root supergroup         52 2017-08-31 14:19 /data/cdh-shell/node.list
-rw-r--r--   3 root supergroup       1809 2017-08-31 14:19 /data/cdh-shell/ntp.conf
-rw-r--r--   3 root supergroup        125 2017-08-31 14:19 /data/cdh-shell/user.list
[root@ip-172-31-6-148 ~]#
  • 目标集群的数据目录
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls / 
Found 9 items
drwxrwxrwx   - root   supergroup          0 2017-08-27 10:27 /HiBench
drwxrwxrwx   - user_r supergroup          0 2017-08-21 11:23 /benchmarks
drwxr-xr-x   - hive   supergroup          0 2017-08-30 03:58 /data
drwxrwxrwx   - user_r supergroup          0 2017-08-23 03:23 /fayson
drwx------   - hbase  hbase               0 2017-08-31 09:56 /hbase
drwxrwxrwx   - solr   solr                0 2017-08-17 14:09 /solr
drwxrwxrwt   - hdfs   supergroup          0 2017-08-31 06:18 /tmp
drwxrwxrwx   - hive   supergroup          0 2017-08-24 12:28 /udfjar
drwxrwxrwx   - hdfs   supergroup          0 2017-08-30 03:48 /user
[ec2-user@ip-172-31-8-141 ~]$

在Kerberos集群命令行进行Kerberos用户初始化

[ec2-user@ip-172-31-8-141~]$ kinit user_r
Password for user_r@CLOUDERA.COM:
[ec2-user@ip-172-31-8-141 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_500
Default principal: user_r@CLOUDERA.COM

Valid starting     Expires            Service principal
08/31/17 10:03:41  09/01/17 10:03:41  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 09/07/17 10:03:41
[ec2-user@ip-172-31-8-141 ~]$
  • 执行如下操作进行数据拷贝（目标HDFS方式）
    • 源集群使用WebHDFS和目标集群使用HDFS协议进行数据拷贝
[ec2-user@ip-172-31-8-141 ~]$ hadoop distcp webhdfs://ip-172-31-6-148:14000/data/ hdfs://172.31.8.141:8020/sourcedata
...
17/08/31 10:23:58 INFO tools.DistCp: DistCp job-id: job_1504187767743_0002
17/08/31 10:23:58 INFO mapreduce.Job: Running job: job_1504187767743_0002
17/08/31 10:24:10 INFO mapreduce.Job: Job job_1504187767743_0002 running in uber mode : false
17/08/31 10:24:10 INFO mapreduce.Job:  map 0% reduce 0%
17/08/31 10:24:27 INFO mapreduce.Job:  map 33% reduce 0%
17/08/31 10:24:28 INFO mapreduce.Job:  map 100% reduce 0%
17/08/31 10:24:28 INFO mapreduce.Job: Job job_1504187767743_0002 completed successfully
...
[ec2-user@ip-172-31-8-141 ~]$
  • Yarn作业运行界面
  • 任务运行完成，检查数据是否与源集群数据一致
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 10:24 /sourcedata/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 10:24 /sourcedata/kudu.tar.gz
[ec2-user@ip-172-31-8-141 ~]$ 
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata/cdh-shell
Found 9 items
-rw-r--r--   3 user_r supergroup         60 2017-08-31 10:24 /sourcedata/cdh-shell/README.md
-rw-r--r--   3 user_r supergroup        125 2017-08-31 10:24 /sourcedata/cdh-shell/a.sh
-rw-r--r--   3 user_r supergroup       5470 2017-08-31 10:24 /sourcedata/cdh-shell/autouninstall.sh
-rw-r--r--   3 user_r supergroup        145 2017-08-31 10:24 /sourcedata/cdh-shell/b.sh
-rw-r--r--   3 user_r supergroup        498 2017-08-31 10:24 /sourcedata/cdh-shell/components.list
-rw-r--r--   3 user_r supergroup       2438 2017-08-31 10:24 /sourcedata/cdh-shell/delete.list
-rw-r--r--   3 user_r supergroup         52 2017-08-31 10:24 /sourcedata/cdh-shell/node.list
-rw-r--r--   3 user_r supergroup       1809 2017-08-31 10:24 /sourcedata/cdh-shell/ntp.conf
-rw-r--r--   3 user_r supergroup        125 2017-08-31 10:24 /sourcedata/cdh-shell/user.list
[ec2-user@ip-172-31-8-141 ~]$
  • 源集群与目标集群数据一致。
  • 执行数据拷贝命令（目标WebHDFS方式）
    • 源集群使用WebHDFS和目标集群使用WebHDFS协议进行数据拷贝，删除目标集群hdfs的/sourcedata目录
[ec2-user@ip-172-31-8-141 ~]$ hadoop distcp webhdfs://ip-172-31-6-148:14000/data/ webhdfs://ip-172-31-9-186:14000/sourcedata
...
17/08/31 10:37:11 INFO mapreduce.Job: The url to track the job: http://ip-172-31-9-186.ap-southeast-1.compute.internal:8088/proxy/application_1504187767743_0003/
17/08/31 10:37:11 INFO tools.DistCp: DistCp job-id: job_1504187767743_0003
17/08/31 10:37:11 INFO mapreduce.Job: Running job: job_1504187767743_0003
17/08/31 10:37:22 INFO mapreduce.Job: Job job_1504187767743_0003 running in uber mode : false
17/08/31 10:37:22 INFO mapreduce.Job:  map 0% reduce 0%
17/08/31 10:37:31 INFO mapreduce.Job:  map 33% reduce 0%
17/08/31 10:37:33 INFO mapreduce.Job:  map 100% reduce 0%
17/08/31 10:37:33 INFO mapreduce.Job: Job job_1504187767743_0003 completed successfully
...
[ec2-user@ip-172-31-8-141 ~]$
  • Yarn任务界面
  • 任务运行完成，检查数据是否与源集群数据一致
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 10:37 /sourcedata/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 10:37 /sourcedata/kudu.tar.gz
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata/cdh-shell
Found 9 items
-rw-r--r--   3 user_r supergroup         60 2017-08-31 10:37 /sourcedata/cdh-shell/README.md
-rw-r--r--   3 user_r supergroup        125 2017-08-31 10:37 /sourcedata/cdh-shell/a.sh
-rw-r--r--   3 user_r supergroup       5470 2017-08-31 10:37 /sourcedata/cdh-shell/autouninstall.sh
-rw-r--r--   3 user_r supergroup        145 2017-08-31 10:37 /sourcedata/cdh-shell/b.sh
-rw-r--r--   3 user_r supergroup        498 2017-08-31 10:37 /sourcedata/cdh-shell/components.list
-rw-r--r--   3 user_r supergroup       2438 2017-08-31 10:37 /sourcedata/cdh-shell/delete.list
-rw-r--r--   3 user_r supergroup         52 2017-08-31 10:37 /sourcedata/cdh-shell/node.list
-rw-r--r--   3 user_r supergroup       1809 2017-08-31 10:37 /sourcedata/cdh-shell/ntp.conf
-rw-r--r--   3 user_r supergroup        125 2017-08-31 10:37 /sourcedata/cdh-shell/user.list
[ec2-user@ip-172-31-8-141 ~]$

17.5.2 Kerberos到非Kerberos集群数据复制

  • Kerberos集群为源集群，非Kerberos集群为目标集群。
  • 以下操作是将源集群的/sourcedata目录下的数据复制到目标集群的/data目录下。
  • 查看源集群/sourcedata目录
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 10:37 /sourcedata/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 10:37 /sourcedata/kudu.tar.gz
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata/cdh-shell
Found 9 items
-rw-r--r--   3 user_r supergroup         60 2017-08-31 10:37 /sourcedata/cdh-shell/README.md
-rw-r--r--   3 user_r supergroup        125 2017-08-31 10:37 /sourcedata/cdh-shell/a.sh
-rw-r--r--   3 user_r supergroup       5470 2017-08-31 10:37 /sourcedata/cdh-shell/autouninstall.sh
-rw-r--r--   3 user_r supergroup        145 2017-08-31 10:37 /sourcedata/cdh-shell/b.sh
-rw-r--r--   3 user_r supergroup        498 2017-08-31 10:37 /sourcedata/cdh-shell/components.list
-rw-r--r--   3 user_r supergroup       2438 2017-08-31 10:37 /sourcedata/cdh-shell/delete.list
-rw-r--r--   3 user_r supergroup         52 2017-08-31 10:37 /sourcedata/cdh-shell/node.list
-rw-r--r--   3 user_r supergroup       1809 2017-08-31 10:37 /sourcedata/cdh-shell/ntp.conf
-rw-r--r--   3 user_r supergroup        125 2017-08-31 10:37 /sourcedata/cdh-shell/user.list
[ec2-user@ip-172-31-8-141 ~]$
  • 目标集群的HDFS目录
[root@ip-172-31-6-148 ~]# hadoop fs -ls / 
Found 2 items
drwxrwxrwt   - hdfs supergroup          0 2017-08-30 15:36 /tmp
drwxrwxrwx   - hdfs supergroup          0 2017-08-31 09:08 /user
[root@ip-172-31-6-148 ~]#
  • 在源集群命令行进行Kerberos用户初始化
[root@ip-172-31-6-148 ~]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: user_r@CLOUDERA.COM

Valid starting     Expires            Service principal
08/31/17 09:22:26  09/01/17 09:22:24  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 09/07/17 09:22:24
[root@ip-172-31-6-148 ~]#
  • 执行如下操作进行数据拷贝（源HDFS方式）
    • 目标集群使用使用WebHDFS和源集群使用WebHDFS协议进行数据拷贝
[ec2-user@ip-172-31-8-141 ~]$ hadoop distcp hdfs://ip-172-31-8-141:8020/sourcedata/ webhdfs://ip-172-31-6-148:14000/data
...
17/08/31 10:50:26 INFO tools.DistCp: DistCp job-id: job_1504187767743_0004
17/08/31 10:50:26 INFO mapreduce.Job: Running job: job_1504187767743_0004
17/08/31 10:50:36 INFO mapreduce.Job: Job job_1504187767743_0004 running in uber mode : false
17/08/31 10:50:36 INFO mapreduce.Job:  map 0% reduce 0%
17/08/31 10:50:45 INFO mapreduce.Job:  map 33% reduce 0%
17/08/31 10:50:46 INFO mapreduce.Job:  map 100% reduce 0%
17/08/31 10:50:47 INFO mapreduce.Job: Job job_1504187767743_0004 completed successfully
...
[ec2-user@ip-172-31-8-141 ~]$
  • Yarn作业查看
  • 任务运行成功，检查数据复制是否完整
[root@ip-172-31-6-148 ~]# hadoop fs -ls /data     
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 14:50 /data/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 14:50 /data/kudu.tar.gz
[root@ip-172-31-6-148 ~]# hadoop fs -ls /data/cdh-shell
Found 9 items
-rw-r--r--   3 user_r supergroup         60 2017-08-31 14:50 /data/cdh-shell/README.md
-rw-r--r--   3 user_r supergroup        125 2017-08-31 14:50 /data/cdh-shell/a.sh
-rw-r--r--   3 user_r supergroup       5470 2017-08-31 14:50 /data/cdh-shell/autouninstall.sh
-rw-r--r--   3 user_r supergroup        145 2017-08-31 14:50 /data/cdh-shell/b.sh
-rw-r--r--   3 user_r supergroup        498 2017-08-31 14:50 /data/cdh-shell/components.list
-rw-r--r--   3 user_r supergroup       2438 2017-08-31 14:50 /data/cdh-shell/delete.list
-rw-r--r--   3 user_r supergroup         52 2017-08-31 14:50 /data/cdh-shell/node.list
-rw-r--r--   3 user_r supergroup       1809 2017-08-31 14:50 /data/cdh-shell/ntp.conf
-rw-r--r--   3 user_r supergroup        125 2017-08-31 14:50 /data/cdh-shell/user.list
[root@ip-172-31-6-148 ~]#
  • 目标集群的数据与源集群的数据一致。
  • 执行如下操作进行数据拷贝（源WebHDFS方式）
[ec2-user@ip-172-31-8-141 ~]$ hadoop distcp webhdfs://ip-172-31-9-186:14000/sourcedata/ webhdfs://ip-172-31-6-148:14000/data
...
17/08/31 10:58:09 INFO tools.DistCp: DistCp job-id: job_1504187767743_0005
17/08/31 10:58:09 INFO mapreduce.Job: Running job: job_1504187767743_0005
17/08/31 10:58:20 INFO mapreduce.Job: Job job_1504187767743_0005 running in uber mode : false
17/08/31 10:58:20 INFO mapreduce.Job:  map 0% reduce 0%
17/08/31 10:58:36 INFO mapreduce.Job:  map 67% reduce 0%
17/08/31 10:58:37 INFO mapreduce.Job:  map 100% reduce 0%
17/08/31 10:58:37 INFO mapreduce.Job: Job job_1504187767743_0005 completed successfully
...
[ec2-user@ip-172-31-8-141 ~]$
  • Yarn任务界面
  • 任务运行成功，检查数据是否完成
[root@ip-172-31-6-148 ~]# hadoop fs -ls /data
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 14:58 /data/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 14:58 /data/kudu.tar.gz
[root@ip-172-31-6-148 ~]# hadoop fs -ls /data/cdh-shell
Found 9 items
-rw-r--r--   3 user_r supergroup         60 2017-08-31 14:58 /data/cdh-shell/README.md
-rw-r--r--   3 user_r supergroup        125 2017-08-31 14:58 /data/cdh-shell/a.sh
-rw-r--r--   3 user_r supergroup       5470 2017-08-31 14:58 /data/cdh-shell/autouninstall.sh
-rw-r--r--   3 user_r supergroup        145 2017-08-31 14:58 /data/cdh-shell/b.sh
-rw-r--r--   3 user_r supergroup        498 2017-08-31 14:58 /data/cdh-shell/components.list
-rw-r--r--   3 user_r supergroup       2438 2017-08-31 14:58 /data/cdh-shell/delete.list
-rw-r--r--   3 user_r supergroup         52 2017-08-31 14:58 /data/cdh-shell/node.list
-rw-r--r--   3 user_r supergroup       1809 2017-08-31 14:58 /data/cdh-shell/ntp.conf
-rw-r--r--   3 user_r supergroup        125 2017-08-31 14:58 /data/cdh-shell/user.list
[root@ip-172-31-6-148 ~]#

17.6 总结

  • 在进行DistCp时，如果目标集群的目录不存在会自动创建。
    • 需要注意：目标集群的目录已存在与不存在的拷贝区别
    • sourcedata目录存在的情况下，DistCp命令运行完成后，将源集群的data目录复制到目标集群的sourcedata目录下，查看sourcedata目录显示如下：
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata
Found 1 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 11:19 /sourcedata/data
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /sourcedata/data
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 11:19 /sourcedata/data/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 11:19 /sourcedata/data/kudu.tar.gz
[ec2-user@ip-172-31-8-141 ~]$
  • sourcedata目录不存在的情况下，DistCp命令运行完成后，只是将源集群data目录下的文件复制到目标集群的sourcedata目录下（data子目录并没有复制），查看sourcedata目录显示如下：
[ec2-user@ip-172-31-8-141 ~]$ hadoop dfs -ls /sourcedata
Found 2 items
drwxr-xr-x   - user_r supergroup          0 2017-08-31 11:16 /sourcedata/cdh-shell
-rw-r--r--   3 user_r supergroup    5279500 2017-08-31 11:16 /sourcedata/kudu.tar.gz
[ec2-user@ip-172-31-8-141 ~]$

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

大勇任卷舒
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
元器件应用中的P系列P83C266BDR集成电路实用检测数据
11-19
表中列出的具体检测数据是P83C266BDR在海信TC2532F型彩电上实际工作时的参考指标。这些数据包括每个引脚的电压水平和在路电阻值，通常会给出一个允许的范围，以考虑温度和其他环境因素的影响。如果测量结果超出这个...
Cloudera Manager大数据管理平台介绍
weixin_43824520的博客
10-15 1349
简介 Cloudera企业解决方案包括Cloudera Hadoop发行版（Cloudera’s Distribution Including Apache Hadoop，简称CDH），Cloudera Manager（CM）等。概括起来说，Cloudera提供一个可伸缩，稳定的，综合的企业级大数据管理平台，它拥有最多的部署案例，提供强大的部署，管理和监控工具。Cloudera Manager提...
数据仓库为何分层，各层作用？
热门推荐
weixin_36190755的博客
09-29 1万+
优秀的分层设计能够让整个数据体系更易理解和使用 为什么要设计数据分层？ 数据有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知。简单说就是使数仓整体看起来层次清晰、依赖关系直观。 因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题，但是，数据分层却可以给我们带来如下的好处： 数据结构清晰：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 避免重复开发：规范数据分层，开发一些通用的中间层数
0013-如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据
Hadoop_SC的博客
11-17 787
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.概述 本文档描述了在Kerberos与非Kerberos的CDH集群之间BDR不可用的情况下实现数据互导。文档主要讲述 1.测试集群环境描述 2.CDH的BDR功能验证 3.集群之间数据复制要求和限制 4.集群之间数据复制的方式 5.使用DistCp复制数据注意事项 6.通过DistCp进行数据互导 这篇文档将着重介绍CDH ...
一篇文章彻底掌握 HDFS 跨集群跨版本数据同步工具 hadoop disctp
明哥的IT随笔
11-12 6555
大家好，我是明哥！最近有小伙伴问到 hadoop distcp 的使用，对其中的一些细节和容易踩的坑不是很清楚，所以今天我们来看下 hadoop distcp 的原理，细节和容易踩的坑。1...
cdh版本升级（5.14 -＞ 6.2）
u011250186的博客
11-03 2109
我们的Cloudera Manager和cdh版本是5.14，现在公司需要升级到cdh6.2需要先升级Cloudera Manager，然后升级cdh。 1.Cloudera Manager升级 (参考https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cm_upgrade.html)升级之前先确定linux的版本已经升级到Cloudera Manager6.2支持的版本 1.1备份 1.1.1备份Cloude...
CDH6官方文档中文系列(1)---适用于裸机部署的Cloudera Enterprise参考架构
hanli2020的博客
06-03 3398
适用于裸机部署的Cloudera Enterprise参考架构 最近在学习cdh6的官方文档，网上也比较难找到中文的文档。 其实官方英文文档的阅读难度其实并不是很高，所以在这里在学习官方文档的过程中，把它翻译成中文，在翻译的过程中加深学习了解，并分享出来和大家一起学习。 中文内容是本人的渣渣英文水平结合有道词典，谷歌翻译的结果，文中部分词语可能翻译的并不准确，希望大家多多提出意见，共同进步。 cdh6的官方中文文档系列长期更新，最后目标整理成gitbook，同大家交流学习。 最后，如果你觉得本文对你有用，
jpic.pg:使用 9.4 复制或 BDR 补丁管理 PostgreSQL，并且不依赖于 debian 管理脚本
06-15
这个 ansible 角色能够编译和设置带有 bdr 补丁的 postgresql，用于杀手级双向多主复制。 要求 虽然我使用 Arch Linux，但添加对 bloatware 发行版的支持应该很容易，因为这个角色不依赖于发行版特定的补丁和脚本。...
数据通信工程加强版视频.zip
最新发布
04-01
网盘文件永久链接 1.osi TCP介绍 2.osi TCP模型 子网计算 ...17.路由环路 18.路由认证 19.OSPF-1 20.OSPF-2 DR BDR 21.OSPF-3 传输介质 23.VLAN-2 24.VRRP 25.STP 26.PPP协议介绍 27.帧中继 LMI .............
数据通信工程师加强版视频.zip
02-27
目录网盘文件永久链接 ...20.OSPF-2 DR BDR.avi 21.OSPF-3 传输介质.avi 23.VLAN-2.avi 24.VRRP.avi 25.STP.avi 26.PPP协议介绍.avi 27.帧中继 LMI.avi 28.防火墙 ACL.avi 29.NAT 华为产品线介绍.avi
单区域OSPF配置，DR和BDR选举
06-10
1、 在路由器上启动OSPF路由进程 2、 启用参与路由协议的接口，并且通告网络及其所在的区域 3、 路由id的配置 4、 DR选举的控制 5、 查看和调试OSPF路由协议
2021年数据专业理论题库.doc
12-16
18. **OSPF协议**：在广播网络中，OSPF选举DR（Designated Router）和BDR（Backup Designated Router）以优化路由通信。 19. **IP报文处理**：当路由器接收到TTL值为0的IP报文时，会丢弃该报文。 20. **ARP功能**...
大数据平台CDH6.1.0 安装配置
weixin_34195546的博客
02-15 1456
大数据平台 CDH6.1.0 安装配置 标签（空格分隔）： 大数据平台构建 一： 关于CDH6.1.0 的介绍 二： 系统环境初始化 三： 安装CDH6.1.0所需环境 四： 配置CDH6.1.0的cloudera-manager安装 一：关于CDH6.1.0 的介绍 Cloudera在前天12月19日，对外宣布正式发布Cloudera Enterprise 6.1包含大数据生态版本如下...
CDH部署
zhangzhihua_1991的博客
09-02 4233
1 Cloudera Manager 产品介绍 2016 年 3 月 3 日 1. 介绍 ..............................................................................................................................................................
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 3836
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
HBase中的备份和故障恢复方法
iAm333的专栏
07-28 8439
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。 随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级
1 cdh介绍
三成的博客
02-02 567
1. 介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large d
0466-CDH5.16.1和CM5.16.1的新功能
Hadoop_SC的博客
11-30 2036
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。 Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》，今天11月29日，Cloudera正式发布CDH5.16.1。从5.15到5.16，差不多等待了5个月，当...
CDH61.1以上版本的新功能详细介绍
xiaoshian的博客
01-14 2047
CDH61.1以上版本的新功能详细介绍：内容篇幅较多 一.CDH6.1有哪些新功能？ 二.CDH免费版限制多少个节点？ 三.CDH6.1有哪些细粒度权限？ 从CDH6.0到CDH6.1是一次minor version的更新，但更新内容较多，在开始接下来的细化功能讨论前，我们先看看几项重点更新的内容： 1.组件版本：Kafka 2.0, Spark 2.4, HBase 2.1.1, Accumulo 1.9.2, SOLR 7.4 2.CDH免费版限制100个节点内 3.HDFS的纠删码完全支持，包括Hiv
OSPF的DR.BDR选举规则
01-06
在OSPF网络中，为了减少链路状态数据库（LSDB）的大小和减少链路状态通告（LSA）的传输量，采用了DR（Designated Router）和BDR（Backup Designated Router）的选举机制。 DR和BDR的选举规则如下： 1. 路由器的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值