HDFS-HA集群配置

HDFS-HA集群配置

一、集群分配

集群主机分配如下：

hadoop102	hadoop103	hadoop104
NameNode	NameNode	NameNode
ZKFC	ZKFC	ZKFC
JournalNode	JournalNode	JournalNode
DataNode	DataNode	DataNode
ZK	ZK	ZK

我的三台主机分别是Hadoop102、Hadoop103、Hadoop104
我配置的HA仅供学习，不用于接下来的使用，所以我们不在原有的基础上配置HDFS

二、搭建集群

1. 我的各种节点都配置在/opt/moudle/ 中，因此我们在/opt/文件夹下 新建一个目录 ha
   mkdir ha

2. 将/opt/moudle/hadoop-3.1.3 拷贝到 /opt/ha目录下
   cp -r /opt/module/hadoop-3.1.3/ /opt/ha/

3. 还原最初是hadoop目录文件夹（把多余的删除，之后如果）
   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8uy5KVe9-1613458290201)(https://i.loli.net/2021/01/26/GoNX13sHxgOFMjl.jpg)]

4. 配置core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
	<property>
		<name>hadoop.data.dir</name>
		<value>/opt/ha/hadoop-3.1.3/data</value>
	</property>
</configuration>

5. 配置 hdfs-site.xml

<configuration>
	  <property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.data.dir}/name</value>
	  </property>
	  <property>
		<name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.data.dir}/data</value>
	  </property>
	  <property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	  </property>
	  <property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2, nn3</value>
	  </property>
	  <property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop102:8020</value>
	  </property>
	  <property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop103:8020</value>
	  </property>
	  <property>
		<name>dfs.namenode.rpc-address.mycluster.nn3</name>
		<value>hadoop104:8020</value>
	  </property>
	  <property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop102:9870</value>
	  </property>
	  <property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop103:9870</value>
	  </property>
	  <property>
		<name>dfs.namenode.http-address.mycluster.nn3</name>
		<value>hadoop104:9870</value>
	  </property>
	  <property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
	  </property>
	  <property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	  </property>
	  <property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	  </property>
	  <property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>.ssh/id_ecdsa</value>
	  </property>
	  <property>
		<name>dfs.journalnode.edits.dir</name>
		<value>${hadoop.data.dir}/jn</value>
	  </property>
</configuration>

三、配置HDFS-HA自动故障转移

1. 在hdfs-site.xml中增加

<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
</property>

2. 在core-site.xml文件中增加

<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>

四、三台主机同步集群

:tw-270f:还有一个非常重要的事就是，因为为了不破坏原有的集群，ha集群是在单独一个目录配置的，hadoop的环境变量暂时改为/opt/ha/目录下的hadoop，最后一定要记得改回来

1. 配置环境变量hadoop-env.sh （我的环境变量是一个单独的文件，好管理）
   修改/etc/profile.d/my_env.sh

export HADOOP_HOME=/opt/ha/hadoop-3.1.3

2. 同步三台主机环境变量
   xsync /etc/profile.d/my_env.sh
3. 同步三台主机hadoop
   xsync /opt/ha/hadoop-3.1.3/

五、HA初始化

1. 格式化nn
   a. 三台主机启动QJM集群（在一台主机上执行） hadoop-daemons.sh start journalnode
   b. 格式化
   102 格式化 hdfs namenode -format
   102 启动nn hadoop-daemon.sh start namenode
   103 同步格式化(在103、104上分别执行) hdfs namenode -bootstrapStandby
   103 启动nn（103、104） hadoop-daemon.sh start namenode
2. 格式化zk
   a. 启动zookeeper集群
   b. 格式化zookeeper(在一台机器上执行就行，因为zookeeper集群实时同步) hdfs zkfc -formatZK
3. 启动hdfs集群 start-dfs.sh

六、启动后问题

问题1

启动后如图：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IQ7pcfJO-1613458290204)(https://i.loli.net/2021/01/26/ZAXD2OqPW3wzhVl.jpg)]

:tw-1f605:发现一个错误，三台机器namenode都是standby

是因为zkfc没有启用
启动三台机器 zkfc hadoop-daemon.sh start zkfc

启动后如图：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AHO1558j-1613458290205)(https://i.loli.net/2021/01/26/8PZWo97zMEtODub.jpg)]

可以看到102是active 其他三台机器是 standby

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5zNSwmOD-1613458290209)(https://i.loli.net/2021/01/26/Ll3wVCtn41yOidc.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uWVgJczq-1613458290210)(https://i.loli.net/2021/01/26/mknGotVj6BJpv1x.jpg)]

问题2

!!!但是当我挂掉一台namenode的时候，另外两台机器仍然是standby！！！
经过我两个小时的摸索，发现是ha为了防止“脑裂”有个ssh验证机制，要确认namenode确实挂掉了，
最后发现配置的免密文件的路径有问题

把hdfs-site.xml的这个配置修改如下：

	  <property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>.ssh/id_rsa</value>
	  </property>

重启所有应用节点，后杀掉102的namenode 最终103成功上位！嘎嘎
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KoGxj6m9-1613458290210)(https://i.loli.net/2021/01/26/DpLKV4cBvw6TnGs.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cXJZuz1K-1613458290211)(https://i.loli.net/2021/01/26/4U5nr96gvSjGzYp.jpg)]

版权声明：
作者：十下
链接：https://blog.edkso.cn/?p=41（图片查看原文，若更新仅更新原文）
来源：十下博客
文章版权归作者所有，未经允许请勿转载。