记:
最近公司任务比较多,所以小忙之中,在晚上抽出一丢丢时间来搭建Hadoop的高可用集群。
集群规划准备
此次搭建是在03篇中搭建好完全分布式的情况下进行修改。因为机器配置受限,但是为了能搭建出来高可用的集群效果。所以把主、备NameNode启动在节点为master,node1的机器上,master,node1,node2上都配置启动了JournalNodes进程(为了两个NameNode同步数据);zookeeper启动在master,node1,node2上。
此次Hadoop搭建高可用集群参考的是官方的文档(http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_overview)
修改配置文件(以主机master为例)
1)hdfs-site.xml的配置如下:
<configuration>
<!-- 副本数 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 逻辑名称 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 逻辑名称下的两个节点的逻辑名称 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- 两台实现远程调用的namenode主机 -->
<property&g