Hadoop的HA配置与实现（ZooKeeper）

一、Hadoop的HA架构

集群规划
112：NameNode1 ResourceManager1 JournalNode1
113：NameNode2 ResourceManager2 JournalNode2
114：DataNode1 NodeManager1
115：DataNode2 NodeManager2

二、配置实现Hadoop的HA

1. 主机配置
   bigdata112，bigdata113配置好Hadoop环境变量（作为NameNode）
2. 配置bigdata112的hadoop
   core-site.xml

 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://ns1</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/root/training/hadoop-2.7.3/tmp</value>
 </property>
 <property>
  <name>ha.zookeeper.quorum</name>
  <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
 </property>

• fs.defaultFS:
  这个属性设置了Hadoop文件系统的默认URI。在这个例子中，它被设置为hdfs://ns1，这意味着Hadoop客户端将默认使用HDFS协议与逻辑名称（namespace）为ns1的HDFS集群进行交互。这通常用于配置了HDFS高可用性（HA）的集群，其中ns1是在hdfs-site.xml中通过dfs.nameservices属性定义的HDFS集群的逻辑名称。
• hadoop.tmp.dir:
  这个属性指定了Hadoop临时文件的存储位置。在这个例子中，它被设置为/root/training/hadoop-2.7.3/tmp。Hadoop会在这个目录下创建一些临时文件，这些文件通常用于MapReduce作业的执行、HDFS的元数据检查点等。将hadoop.tmp.dir设置在一个有足够磁盘空间的位置是很重要的。
• ha.zookeeper.quorum:
  这个属性指定了ZooKeeper集群的地址列表，用于HDFS高可用性（HA）配置中的故障转移和状态管理。在这个例子中，它包含了三个ZooKeeper节点的地址：bigdata112:2181,bigdata113:2181,bigdata114:2181。每个ZooKeeper节点的端口都是默认的2181。ZooKeeper集群用于协调HDFS NameNode之间的状态，确保在Active NameNode发生故障时，能够平滑地切换到Standby NameNode。

hdfs-site.xml

<property>
  <name>dfs.nameservices</name>
  <value>ns1</value>
 </property>

 <property>
  <name>dfs.ha.namenodes.ns1</name>
  <value>nn1,nn2</value>
 </property>


 <property>
  <name>dfs.namenode.rpc-address.ns1.nn1</name>
  <value>bigdata112:9000</value>
 </property>
 <property>
  <name>dfs.namenode.http-address.ns1.nn1</name>
  <value>bigdata112:50070</value>
 </property>

 <property>
  <name>dfs.namenode.rpc-address.ns1.nn2</name>
  <value>bigdata113:9000</value>
 </property>
 <property>
  <name>dfs.namenode.http-address.ns1.nn2</name>
  <value>bigdata113:50070</value>
 </property>

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://bigdata112:8485;bigdata113:8485;/ns1</value>
 </property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/root/training/hadoop-2.7.3/journal</value>
 </property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
 </property>
<property>
  <name>dfs.client.failover.proxy.provider.ns1</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
sshfence
shell(/bin/true)
</value>
 </property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
 </property>


<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
 </property>

• HDFS逻辑名称和NameNode配置：
  dfs.nameservices：定义了HDFS集群的逻辑名称，这里是ns1。
  dfs.ha.namenodes.ns1：指定了ns1集群中所有的NameNode名称，即nn1和nn2。
  dfs.namenode.rpc-address.和dfs.namenode.http-address.：分别配置了nn1和nn2的RPC地址和HTTP地址。RPC地址用于NameNode之间的通信，HTTP地址用于通过浏览器访问NameNode的Web界面。
  JournalNode配置：
  dfs.namenode.shared.edits.dir：配置了NameNode之间共享的edits日志目录，这里使用了Quorum Journal Manager（QJM），并指定了JournalNode的地址和集群ID（/ns1）。
  dfs.journalnode.edits.dir：指定了JournalNode存储edits日志的本地目录。
• 高可用性配置：
  dfs.ha.automatic-failover.enabled：启用了自动故障转移功能。
  dfs.client.failover.proxy.provider.ns1：指定了客户端使用的故障转移代理提供者，这里是Hadoop自带的ConfiguredFailoverProxyProvider。
• 故障隔离（Fencing）配置：
  dfs.ha.fencing.methods：定义了故障转移时的隔离方法，这里使用了sshfence（通过SSH杀死NameNode进程）和shell(/bin/true)（一个总是返回成功的命令，通常用于测试）。
  dfs.ha.fencing.ssh.private-key-files：指定了SSH隔离方法所使用的私钥文件路径。
  dfs.ha.fencing.ssh.connect-timeout：设置了SSH连接的超时时间，单位是毫秒。

mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>

yarn-site.xml

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
 </property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
 </property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
 </property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>bigdata112</value>
 </property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>bigdata113</value>
 </property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
 </property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>

• 启用YARN ResourceManager的HA：通过设置yarn.resourcemanager.ha.enabled为true，启用了YARN ResourceManager的高可用性模式。这意味着集群中有多个ResourceManager实例在运行，其中一个是Active状态，其余是Standby状态。
• 集群ID：yarn.resourcemanager.cluster-id被设置为yrc，这是YARN集群的唯一标识符，用于区分不同的YARN集群。
• ResourceManager实例ID：yarn.resourcemanager.ha.rm-ids列出了所有ResourceManager实例的ID，这里是rm1和rm2。这些ID用于在配置中引用特定的ResourceManager实例。
• ResourceManager主机名：通过yarn.resourcemanager.hostname.rm1和yarn.resourcemanager.hostname.rm2，分别指定了rm1和rm2实例运行的主机名，即bigdata112和bigdata113。
• ZooKeeper地址：yarn.resourcemanager.zk-address配置了ZooKeeper集群的地址，ResourceManager使用ZooKeeper来协调状态信息，确保在高可用性模式下的正确故障转移。这里的ZooKeeper集群由bigdata112、bigdata113和bigdata114组成，每个节点的端口都是默认的2181。
• NodeManager辅助服务：yarn.nodemanager.aux-services配置了NodeManager提供的辅助服务，这里设置为mapreduce_shuffle，这是MapReduce作业执行期间所必需的，用于shuffle阶段的数据传输。

3. 修改slaves
   在bigdata112的slaves文件中，增加从节点（114，115）
4. 设置Java环境
   hadoop-env.sh中设置本地的Javahome路径
5. 创建目录tmp和journal
   在上述配置中已经体现
6. 将hadoop目录复制给113，114，115
7. 在112和113上启动journalnode

hadoop-daemon.sh start journalnode

8. 在112上格式化HDFS

hdfs namenode -format

将112的tmp目录复制到113上（113为备用的主节点）

9. 在112上格式化zookeeper

hdfs zkfc -formatZK

10. 在112上启动Hadoop集群

start-dfs.sh
start-yarn.sh

11. 113上手动启动resourcemanager

yarn-daemon.sh start resourcemanager

三、效果