Hadoop之HA模式搭建

HA介绍
为了解决Hadoop集群NameNode和ResourceManager单点问题Hadoop2.x推出高可用集群即Hadoop集群HA模式。
文档内容：https://gitee.com/TianHanXiaoXiaoSheng/everyday_learn/blob/master/hadoop-wc/Hadoop%E4%B9%8BHA%E6%90%AD%E5%BB%BA.md

HA模式搭建
基础环境准备
Centos6.x环境准备三台han-101、han-102、han-103
安装JDK1.8
固定ip
SSH免密登录
时间同步
HA集群节点规划
角色\节点 han-101 han-102 han-103
ZK Y Y Y
KAFKA Y Y Y
JN Y Y Y
ZKFC Y Y
NN Y Y
DN Y Y Y
RM Y Y
NM Y Y Y
HS Y
ZK和KAFKA集群搭建不在此体现。

HA配置
下载hadoop-2.7.2.tar.gz以此为例。

创建安装目录解压tar.gz

$mkdir -p /opt/module

$tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

修改env配置

hadoop-env.sh、mapred-env.sh、yarn-env.sh

修改添加JAVA环境变了 export JAVA_HOME=/opt/module/jdk1.8.0_281

环境变量和自己安装jdk实际路径为准。

修改xml配置

core-site.xml

fs.defaultFS hdfs://mycluster hadoop.tmp.dir /opt/module/hadoop/data ha.zookeeper.quorum han-101:2181,han-102:2181,han-103:2181

<!-- 指定NameNode连接JournalNode重试次数和重试间隔时间 防止NameNode启动连接JN失败而闪退-->
<property>
	<name>ip.client.connect.max.retries</name>
	<value>100</value>
</property>
<property>
	<name>ipc.client.connect.retry.interval</name>
	<value>1000</value>
</property>

hdfs-site.xml dfs.replication 3

<!-- 完全分布式集群名称 -->
<property>
	<name>dfs.nameservic