[2021最新]大数据平台CDH存储组件kudu之启用HA高可用(添加多个master)

今天在做kudu高可用的时候没有参考官网,直接按照常规方式(添加角色—>编辑属性—>启动)结果发现报错?然后参考了一下文档之后发现这玩意儿还有点玄学,做一下记录。


1.添加两个master。kudu master有leader和follower之分,所以必须是奇数(3或者5),添加之后不要启动不要启动不要启动!!!

2.创建目录并赋权,注意对应到自己创建master的时候的目录

mkdir -p /data1/kudu/master/knwd  
mkdir -p /data1/kudu/master/kndd 
chown -R kudu:kudu /data1/kudu/master/knwd 
chown -R kudu:kudu /data1/kudu/master/kndd  
chmod 700 /data1/kudu/master/knwd 
chmod 700 /data1/kudu/master/kndd 

注意:第一个是wal的目录,第二个是data的目录,一定要和创建kudu master的时候配置的目录一致,修改为自己配置的对应目录。

3.停止kudu所有的服务(master、tablet server等)

4.在原来的master上获取UUID

sudo -u kudu kudu fs dump uuid --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd 2>/dev/null

2 > /dev/null 的意思是错误输出重定向到空,如果是标准输出就不处理。如果运行了这段代码啥也没有,说明报错了,把2>/dev/null去掉看看哪里错了。
uuid
5.格式化新增的master,并获取UUID

sudo -u kudu kudu fs format --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd
sudo -u kudu kudu fs dump uuid --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd 2>/dev/null

格式化

6.在原有的master上执行命令重写主机的Raft配置

sudo -u kudu kudu local_replica cmeta rewrite_raft_config --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd 00000000000000000000000000000000  93277f453ca44959956005520e7a5a4a:cdh01:7051 fc3b427afe1e45d4b7a8a5237312e771:cm01:7051 31a738dfb76b4ec68c265fe56c126b4a:cm02:7051

7.启动原有的master
start

8.新master节点同步原有master数据

 sudo -u kudu kudu local_replica copy_from_remote --fs_wal_dir=/data1/kudu/master/kmwd   --fs_data_dirs=/data1/kudu/master/kmdd 00000000000000000000000000000000 xxx:7051

那一串0是必要的,后面接空格,然后是原master的主机名+端口号

9.启动所有master
all master
10.kudu Web查看三个master的角色
status

参考链接:apache kudu官网链接

  • 5
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 尚硅谷大数据技术之cdh vmware是一个虚拟机镜像,用于学习和实践大数据技术。 CDH是Cloudera公司的一整套Hadoop生态系统的发行版,包含了Hadoop的核心组件如HDFS、MapReduce、YARN、Hive、HBase等,而尚硅谷大数据技术之cdh vmware是一个已经预装了CDH的虚拟机镜像,方便用户快速使用和学习。 VMware是一款虚拟化软件,可以在一台物理机上运行多个虚拟机,每个虚拟机都可以独立运行自己的操作系统和软件。尚硅谷将CDH预装在VMware中,方便用户在自己的电脑上运行一个基于CDH的虚拟机环境,进行大数据技术的学习和实践。 使用尚硅谷大数据技术之cdh vmware,用户无需自己配置和安装CDH,只需下载并导入到VMware中,即可快速启动CDH环境。这样可以节省用户的时间和精力,让用户更加专注于对CDH的学习和使用。 尚硅谷大数据技术之cdh vmware不仅提供了CDH的基础组件,还包含了一些附加工具和示例数据,帮助用户更好地理解和实践大数据技术。用户可以通过尚硅谷提供的教程和实验来学习和掌握CDH的各项功能和应用场景。 总而言之,尚硅谷大数据技术之cdh vmware是一个方便快捷的大数据技术学习工具,通过预装CDH在VMware中,用户可以轻松构建和管理自己的大数据环境,并进行实际操作和实践。 ### 回答2: 尚硅谷大数据技术之cdh vmware是一个基于VMware虚拟机的大数据解决方案。CDH是Cloudera公司提供的Hadoop生态系统的一个发行版,它包括了Hadoop、Hive、HBase、Spark等大数据处理工具和框架,可以支持大规模数据的存储和分析。 CDH VMWare是尚硅谷提供的一个预配置的CDH虚拟机镜像,使用VMware虚拟化技术,方便用户快速搭建和配置CDH集群环境。它提供了一个简单且易于理解的操作界面,使得用户可以快速上手,无需复杂的配置和搭建过程。 CDH VMWare 可以帮助用户实现以下目标: 1. 快速搭建大数据环境:CDH VMWare提供了一个预先配置好的大数据集群环境,用户只需要简单地导入该镜像文件,即可获得一个完整的CDH集群环境,大大减少了搭建和配置环境的时间和成本。 2. 学习和实践大数据技术:CDH VMWare提供了一个完整的CDH集群环境,用户可以在该环境中学习和实践各种大数据技术和工具,例如Hadoop、Hive、HBase等,帮助用户快速掌握大数据处理的方法和技巧。 3. 开发和测试大数据应用:CDH VMWare提供了一个完整的CDH集群环境,用户可以在该环境中开发和测试各种大数据应用程序,例如基于Hadoop的数据处理程序、基于Spark的数据分析程序等,帮助用户快速验证和调试应用程序的正确性和性能。 总之,尚硅谷大数据技术之CDH VMWare是一个方便快速的大数据解决方案,可以帮助用户快速搭建和配置CDH集群环境,学习和实践大数据技术,以及开发和测试大数据应用程序。 ### 回答3: 尚硅谷是一个IT培训机构,他们提供了大数据技术培训,其中包括了CDH和VMware。 CDH(Cloudera Distributed Hadoop)是一个开源的大数据解决方案,它提供了一个基于Apache Hadoop的完整平台。CDH集成了多个大数据工具和组件,如Hadoop、Spark、Hive和HBase等,使用户可以更加方便地进行大数据处理和分析。通过CDH,用户可以管理和处理大规模的数据集,进行数据存储、计算和查询等操作。 而VMware是一个虚拟化技术提供商,其产品包括VMware Workstation、VMware Fusion和VMware ESXi等。虚拟化技术允许用户在物理服务器上运行多个虚拟机,实现资源的合理利用和管理。在大数据领域,VMware虚拟化技术可以用来部署大数据集群,提供高可用性和灵活性。用户可以在虚拟机中安装CDH,并使用CDH进行大数据处理和分析。 尚硅谷的大数据技术之CDH VMware课程,通过理论和实践相结合的方式,帮助学员掌握CDH和VMware的基本概念、部署与管理技能,并能够运用它们进行大数据的处理和分析。在课程中,学员将会学习CDH和VMware的安装与配置,了解它们的架构和原理,学会使用CDH集群进行数据处理和分析,以及利用VMware虚拟化技术在CDH环境中搭建大数据集群。 通过尚硅谷的大数据技术之CDH VMware课程,学员能够全面了解CDH和VMware在大数据领域的应用,掌握相关技能,并在实际工作中灵活运用,从而有效地处理和分析大规模的数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值