备注:测试版本 6.3.1
文章目录
一.HDFS HA
HDFS的NameNode是一个单点,一个集群里面一般只有一个NameNode,当NameNode出现故障,Secondary NameNode并不会直接进行failover切换成为新的NameNode。
为了解决这个问题,HDFS在同一个集群里面运行两个NameNode,区别于Secondary NameNode,第二个NameNode被成为standby NameNode,可以提供自动的failover功能,一个集群里面最多只能有2个NameNode。同一时间,一个集群里面只有一个运行的NameNode。
CDH里面已经把这个做成了图形化界面操作,太方便了
1.1 启用HA
1.2 设置备用的NameService
1.3 选择备用的主机
1.4 审核更改
默认配置即可,录入 JournalNode目录
1.5 命令详细信息
等待命令执行完成
1.6 最后步骤
需要手工配置hue和hive,按照操作指导来即可
1.7 重启后
1.8 Hue 设置
Hue -> 配置 -> HDFS web界面角色 -> 选择httpfs,没有则在hdfs里添加角色。
1.9 Hive 设置
1.10 重启Impala
二.YARN HA
可以跟HDFS一样添加HA,如果HDFS已经启用HA,那更简单,添加一个ResourceManager,重启即可,CDH会自动部署高可用。
2.1 添加ResourceManager
2.2 选择ResourceManager 所在主机
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b07AqI7q-1607409020926)(https://upload-images.jianshu.io/upload_images/2638478-a7e6425bbccaa939.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
2.3 启动新增的ResourceManager
2.4 重启YARN
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zvinlCRF-1607409020930)(https://upload-images.jianshu.io/upload_images/2638478-7db990a9683b09be.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
三.Hive HA
同YARN。添加MataStore Server和HiveServer2,重启自动部署。
3.1 添加MataStore Server和HiveServer2
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h2Ij6FuQ-1607409020931)(https://upload-images.jianshu.io/upload_images/2638478-ea6d62008d3f6826.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
3.2 重启hive
参考
1.https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_ha.html
2.https://blog.csdn.net/lingeio/article/details/97753136