cms cdh 5.3.x 升级成HA的配置

接着上一篇cms + cdh安装博客: http://blog.csdn.net/u010839779/article/details/78858936  cms cdh  

cms cdh 升级成HA的配置详解：

NameNode的HA：

 

找到namenode的服务-----> 操作----->启用High Avaliablity

 

继续即可配置

高可用的命名空间名字随便命名即可，建议使用默认值nameservice1。

 

点击选择一个namenode的主机：

选择journalNode的主机，建议至少3个且为基数个：

 

继续下一步的配置，建议把journalnode数据共享目录的配置给配置上，默认为空：

 

继续进行启用 HDFS 的 High Availability:

失败格式化已经存在的namenode的节点：因为目录存在数据存在，可以选择手动格式化以前的数据，然后再删除datanode的数据，如果是一开始就搭建HA就不会失败咯。详细信息如下:

 

 

完成启动NameNode的HA配置：

 

测试NameNode是否可用：

 

关闭活动的NameNode服务：

 

证明已经失败转移过来，然后再查看是否能进行hdfs的文件读写操作；然后再启动hadoop01的Namenode再关闭hadoop02的namenode试试能否进行正常切换。

[root@hadoop01 ~] hdfs dfs -put /home/helloworld.sh /

[root@hadoop01 ~]  hdfs dfs -cat /helloworld.sh

#!/bin/bash

echo "hello world" >> /home/helloworld

证明可以失败转移后可以进行正常读写，然后再来回关闭namenode试试是否可用即可。

 

Yarn的resurce的HA：

 

点击启动High Avaliability:

 

点击选择一个主机，选择hadoop02为备用rm服务主机：

 

点击确定然后再点击继续：

然后对环境进行检测，只有三项检测，如果三项检测都是没有异常，点击完成即可(我忘记截完成的图啦)。

 

停掉活动的rm：

 

 

证明是已经失败转移(来回切换几次试试可以失败转移)，然后再运行几个mr的job作业即可。

bash-4.1$yarn jar /opt/cloudera/parcels/CDH-5.3.6-1.cdh5.3.6.p0.11/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /words /out/01

 

 

解决hue中不能查询hive数据的问题：

 

 

手动批量将hive的元数据信息中的库和表指向的hdfs中的目录修改成HA的即可。

 

 

到此，hadoop的hdfs模块和yarn模块的HA已经升级完成.........

 

而hbase的备份master和hiveserver2建议安装时选择配置在多台服务器中。

注意：一切升级后请检测别的组件是否受影响，即做好完全测试。