CDH 高可用

备注:测试版本 6.3.1

一.HDFS HA

HDFS的NameNode是一个单点,一个集群里面一般只有一个NameNode,当NameNode出现故障,Secondary NameNode并不会直接进行failover切换成为新的NameNode。

为了解决这个问题,HDFS在同一个集群里面运行两个NameNode,区别于Secondary NameNode,第二个NameNode被成为standby NameNode,可以提供自动的failover功能,一个集群里面最多只能有2个NameNode。同一时间,一个集群里面只有一个运行的NameNode。

CDH里面已经把这个做成了图形化界面操作,太方便了

1.1 启用HA

image.png

1.2 设置备用的NameService

image.png

1.3 选择备用的主机

image.png

image.png

image.png

1.4 审核更改

默认配置即可,录入 JournalNode目录

image.png

1.5 命令详细信息

等待命令执行完成
image.png

1.6 最后步骤

需要手工配置hue和hive,按照操作指导来即可

image.png

1.7 重启后

image.png

1.8 Hue 设置

Hue -> 配置 -> HDFS web界面角色 -> 选择httpfs,没有则在hdfs里添加角色。
image.png

1.9 Hive 设置

image.png

image.png

image.png

1.10 重启Impala

image.png

二.YARN HA

可以跟HDFS一样添加HA,如果HDFS已经启用HA,那更简单,添加一个ResourceManager,重启即可,CDH会自动部署高可用。

2.1 添加ResourceManager

image.png

2.2 选择ResourceManager 所在主机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b07AqI7q-1607409020926)(https://upload-images.jianshu.io/upload_images/2638478-a7e6425bbccaa939.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

image.png

2.3 启动新增的ResourceManager

image.png

image.png

2.4 重启YARN

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zvinlCRF-1607409020930)(https://upload-images.jianshu.io/upload_images/2638478-7db990a9683b09be.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

image.png

三.Hive HA

同YARN。添加MataStore Server和HiveServer2,重启自动部署。

3.1 添加MataStore Server和HiveServer2

image.png

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h2Ij6FuQ-1607409020931)(https://upload-images.jianshu.io/upload_images/2638478-ea6d62008d3f6826.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

3.2 重启hive

image.png

image.png

参考

1.https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_ha.html
2.https://blog.csdn.net/lingeio/article/details/97753136

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值