Hadoop-HA || Yarn-HA 高可用分布式配置

请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。

一、配置HDFS-HA集群

1、HDFS高可用集群规划

hostname	组件
master	DataNode NameNode DFSZKFailoverController ResourceManager NodeManager QuorumPeerMain JournalNode
node1	JournalNode QuorumPeerMain DataNode DFSZKFailoverController NodeManager NameNode
node2	JournalNode DataNode NodeManager QuorumPeerMain
node3	NodeManager QuorumPeerMain DataNode

2、配置core-site.xml

<!-- 把两个 NameNode） 的地址组装成一个集群 mycluster -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/software/hadoop/tmp/</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
</property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
</property>
 <!-- 指定zookeeper地址 -->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,node1:2181,node2:2181,node3:2181</value>
</property>

3、配置hdfs-site.xml

<!-- 完全分布式集群名称 -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<!-- 集群中 NameNode 节点都有哪些,这里是 nn1 和 nn2 -->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<!-- nn1 的 RPC 通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:9000</value>
</property>
<!-- nn2 的 RPC 通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node1:9000</value>
</property>
<!-- nn1 的 http 通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<!-- nn2 的 http 通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node1:50070</value>
</property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;node1:8485;node2:8485;node3:8485;node2:8485/mycluster</value>
</property>
<!-- 配置隔离机制， 即同一时刻只能有一台服务器对外响应 -->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
        sshfence
        shell(/bin/true)
  </value>
</property>
<!-- 使用隔离机制时需要 ssh 无秘钥登录-->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<!-- 声明 journalnode 服务器存储目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/software/hadoop/data/jn</value>
</property>
<!-- 关闭权限检查-->
<property>
  <name>dfs.permissions.enable</name>
  <value>false</value>
</property>
<!-- 访问代理类： client， mycluster， active 配置失败自动切换实现方式-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>node3:50090</value>
</property>
 <!-- 开启NameNode失败自动切换 -->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>

4、配置yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<!--启用 resourcemanager ha-->
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<!--启用 resourcemanager ha-->
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node1</value>
</property>
<!--指定 zookeeper 集群的地址-->
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,node1:2181,node2:2181,node3:2181</value>
</property>
<!--启用自动恢复-->
<property>
  <name>yarn.resourcemanager.recovery.enabled</name>
  <value>true</value>
</property>
<!--指定 resourcemanager 的状态信息存储在 zookeeper 集群-->
<property>
<name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

5、配置slave

master
node1
node2
node3

一台配置完成后，通过scp把配置文件同步给其他的设备

二、启动zookeeper集群

每台都启动zookeeper

# 配置zookeeper环境变量后
zkServer.sh start

三、启动journalnode

分别在master、node1、node2上执行

注： journalnode为qjournal分布式应用（可用来管理）的管理edit.log文件，依赖于zk管理，所以将三个node节点放到zk上启动。hadoop2.x使用qjournal管理edit.log文件。

hadoop-daemon.sh start journalnode

四、格式化HDFS（仅第一次启动执行）

master主节点上运行

注：如果之前运行过hdfs，需要把hadoophadoop.tmp.dir对应的目录删除

hdfs namenode -format

格式化成功后hadoop.tmp.dir对应的目录会生成一个目录，需要把这个目录scp到另一台namenode下

五、格式化ZKFC（仅第一次启动执行）

注：zkfc是用来管理两台namenode切换状态的进程。同样是依赖zk实现。当active namenode状态不正常了，该namenode上的zkfc会制一个状态发动到 zk上，standby namenode上的zkfc会查看到该不正常状态，并向active namenode通过ssh发送一条指令，kill -9 进程号，杀死该进程，并将自己重置成active，放置active假死发生脑裂事件，万一ssh发送失败，也可以启动自定义的.sh脚本文件，强制杀死active namenode进程。

在master节点上运行下面命令

hdfs zkfc -formatZK

六、启动HDFS

在master节点上运行下面命令

start-dfs.sh

七、启动YARN

在master节点上运行下面命令

start-yarn.sh

在node1上执行

yarn-daemon.sh start resourcemanager

八、测试验证

可以在网页查看各个服务运行状态 ：
HDFS : http://master:50070
ResourceManager : http://master:8088

这里node1的namenode是active状态

把node1的namenode进程kill后，master上的namenode自动变成active

Yarn-HA验证
在浏览器上输入备机node1:8088会自动跳转到主节点master:8088上，证明yarn-HA启用了

把master节点上的 resourcemanager 进程 kill掉，然后浏览器上可以通过node1:8088访问了