大数据与人工智能入门到放弃（04 回顾篇 hadoop高可用【HA】的搭建）

南山鱼蛋哥

于 2019-08-17 14:11:29 发布

阅读量141

点赞数

分类专栏：大数据与人工智能入门到放弃

本文链接：https://blog.csdn.net/weixin_39926871/article/details/99659786

版权

本文详细记录了在已有完全分布式Hadoop集群基础上，搭建高可用（HA）集群的过程，包括集群规划、配置文件修改、Zookeeper配置等步骤。通过在master、node1和node2上配置NameNode、JournalNodes和Zookeeper，实现了NameNode的高可用，确保数据同步和故障切换。

摘要由CSDN通过智能技术生成

记：

最近公司任务比较多，所以小忙之中，在晚上抽出一丢丢时间来搭建Hadoop的高可用集群。

集群规划准备

此次搭建是在03篇中搭建好完全分布式的情况下进行修改。因为机器配置受限，但是为了能搭建出来高可用的集群效果。所以把主、备NameNode启动在节点为master，node1的机器上，master，node1，node2上都配置启动了JournalNodes进程(为了两个NameNode同步数据)；zookeeper启动在master，node1，node2上。

此次Hadoop搭建高可用集群参考的是官方的文档（http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_overview）

修改配置文件（以主机master为例）

1)hdfs-site.xml的配置如下：


<configuration>
        <!-- 副本数 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <!-- 逻辑名称 -->
        <property>
                <name>dfs.nameservices</name>
                <value>mycluster</value>
        </property>
        <!-- 逻辑名称下的两个节点的逻辑名称 -->
        <property>
                <name>dfs.ha.namenodes.mycluster</name>
                <value>nn1,nn2</value>
        </property>
        <!-- 两台实现远程调用的namenode主机 -->
        <property&g