HA介绍
为了解决Hadoop集群NameNode和ResourceManager单点问题Hadoop2.x推出高可用集群即Hadoop集群HA模式。
文档内容:https://gitee.com/TianHanXiaoXiaoSheng/everyday_learn/blob/master/hadoop-wc/Hadoop%E4%B9%8BHA%E6%90%AD%E5%BB%BA.md
HA模式搭建
基础环境准备
Centos6.x环境准备三台han-101、han-102、han-103
安装JDK1.8
固定ip
SSH免密登录
时间同步
HA集群节点规划
角色\节点 han-101 han-102 han-103
ZK Y Y Y
KAFKA Y Y Y
JN Y Y Y
ZKFC Y Y
NN Y Y
DN Y Y Y
RM Y Y
NM Y Y Y
HS Y
ZK和KAFKA集群搭建不在此体现。
HA配置
下载hadoop-2.7.2.tar.gz以此为例。
创建安装目录解压tar.gz
$mkdir -p /opt/module
$tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
修改env配置
hadoop-env.sh、mapred-env.sh、yarn-env.sh
修改添加JAVA环境变了 export JAVA_HOME=/opt/module/jdk1.8.0_281
环境变量和自己安装jdk实际路径为准。
修改xml配置
core-site.xml
fs.defaultFS hdfs://mycluster hadoop.tmp.dir /opt/module/hadoop/data ha.zookeeper.quorum han-101:2181,han-102:2181,han-103:2181<!-- 指定NameNode连接JournalNode重试次数和重试间隔时间 防止NameNode启动连接JN失败而闪退-->
<property>
<name>ip.client.connect.max.retries</name>
<value>100</value>
</property>
<property>
<name>ipc.client.connect.retry.interval</name>
<value>1000</value>
</property>
hdfs-site.xml dfs.replication 3
<!-- 完全分布式集群名称 -->
<property>
<name>dfs.nameservic