HDFS-HA高可用集群配置

最新推荐文章于 2023-09-21 11:27:28 发布

月正明

最新推荐文章于 2023-09-21 11:27:28 发布

阅读量514

点赞数 2

分类专栏：大数据文章标签： hadoop HDFS HA 自动failover

本文链接：https://blog.csdn.net/weixin_38023225/article/details/101346493

版权

大数据专栏收录该内容

50 篇文章 0 订阅

订阅专栏

1 HA概述

1）所谓HA（high available），即高可用（7*24小时不中断服务）。

2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

4）NameNode主要在以下两个方面影响HDFS集群

NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启

NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA功能通过配置Active/Standby两个nameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

2 工作机制

配置两个namenode，通过双namenode消除单点故障。

3 HDFS-HA自动故障转移

3.1 工作要点

使用命令hdfs haadmin -failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。

2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。

ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，

也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

1）健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。

3）基于ZooKeeper的选择：如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为active状态。

3.2 环境准备

1）修改IP

2）修改主机名及主机名和IP地址的映射

3）关闭防火墙

4）ssh免密登录

5）安装JDK，配置环境变量等

3.3 集群规划

集群规划
master-node	slave-node1	slave-node2
NameNode JournalNode DataNode ZK NodeManager	NameNode JournalNode DataNode ZK ResourceManager NodeManager	JournalNode DataNode ZK NodeManager

3.4 配置Zookeeper集群

参考：https://blog.csdn.net/weixin_38023225/article/details/101371777

3.5 配置HDFS-HA自动故障转移集群

1）官方地址：http://hadoop.apache.org/

2）在/opt/module/目录下创建一个HA文件夹

3）将/opt/module/下的 hadoop-2.7.4拷贝到/opt/module/HA目录下

[caimh@master-node module]$ mkdir HA
[caimh@master-node module]$ cp -r hadoop-2.7.4/ HA/

4）配置hadoop-env.sh（JDK）

5）配置hdfs-site.xml

[caimh@master-node hadoop]$ vim hdfs-site.xml 
<configuration>
<!--指定HDFS副本的数量,默认是3-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

<!-- 完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

<!-- 集群中NameNode节点都有哪些 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

<!-- nn1的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>master-node:8020</value>
  </property>

<!-- nn2的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>slave-node1:8020</value>
  </property>

<!-- nn1的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>master-node:50070</value>
  </property>

<!-- nn2的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>slave-node1:50070</value>
  </property>

<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master-node:8485;slave-node1:8485;slave-node2:8485/mycluster</value>
  </property>

<!-- 关闭权限检查-->
  <property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
  </property>

<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

<!-- 使用隔离机制时需要ssh无秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/atguigu/.ssh/id_rsa</value>
  </property>

<!-- HDFS-HA自动故障转移配置-->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
</configuration>

6 配置core-site.xml

[caimh@master-node hadoop]$ vim core-site.xml 
<configuration>
<!--指定HADOOP所使用的文件系统schema(URI)，HDFS的老大(NameNode)的地址-->
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>

<!--指定HADOOP运行时产生文件的存储目录，默认/tmp/hadoop-${user.name}-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/HA/hadoop-2.7.4/data</value>
  </property>

<!-- 声明journalnode服务本地文件系统存储目录-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/module/HA/hadoop-2.7.4/data/jn</value>
  </property>

<!-- HDFS-HA自动故障转移配置,依赖zookeeper-->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>master-node:2181,slave-node1:2181,slave-node2:2181</value>
</property>
</configuration>

7 拷贝配置好的hadoop环境到其他节点(使用分发脚本)

[caimh@master-node hadoop]$ xsync /opt/module/HA/

分发脚本配置参考：https://blog.csdn.net/weixin_38023225/article/details/101210975

8 启动

(1)在各个JournalNode节点上，输入以下命令启动journalnode服务：

[caimh@master-node hadoop-2.7.4]$ sbin/hadoop-daemon.sh start journalnode
[caimh@slave-node1 hadoop-2.7.4]$ sbin/hadoop-daemon.sh start journalnode
[caimh@slave-node2 hadoop-2.7.4]$ sbin/hadoop-daemon.sh start journalnode
[caimh@slave-node2 hadoop-2.7.4]$ jps
2055 JournalNode
2109 Jps

说明：下面namenode的格式化，依赖JournalNode服务，需要先启动

(2)nn1格式化namenode，在[nn2]上，同步nn1的元数据信息（本例是nn1,nn2）

[caimh@master-node hadoop-2.7.4]$ bin/hdfs namenode -forma        --在[nn1]上，对其进行格式化
[caimh@master-node hadoop-2.7.4]$ sbin/hadoop-daemon.sh start namenode  --启动nn1
[caimh@master-node hadoop-2.7.4]$ jps
3936 NameNode
3797 JournalNode
4014 Jps
[caimh@slave-node1 hadoop-2.7.4]$ bin/hdfs namenode -bootstrapStandby  --在[nn2]上，同步nn1的元数据信息

说明：

1)nn2不允许再次格式化，只能同步元数据，再次格式化会产生新的clusterid，集群启动会报错

2)nn2上，同步nn1的元数据信息，必须需要nn1启动

（3）关闭所有HDFS服务：

[caimh@master-node hadoop-2.7.4]$ sbin/stop-dfs.sh

（4）启动Zookeeper集群（逐个启动，可以写脚本群起）

[caimh@master-node zookeeper-3.4.13]$ bin/zkServer.sh start
[caimh@slave-node1 zookeeper-3.4.13]$ bin/zkServer.sh start
[caimh@slave-node2 zookeeper-3.4.13]$ bin/zkServer.sh start
[caimh@master-node zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower
[caimh@slave-node1 zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: leader
[caimh@slave-node2 zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower

（5）初始化HA在Zookeeper中状态：

[caimh@master-node hadoop-2.7.4]$ bin/hdfs zkfc -formatZK
[caimh@master-node zookeeper-3.4.13]$ bin/zkCli.sh               --进入zk客户端查看，生成了hadoop-ha节点
[zk: localhost:2181(CONNECTED) 0] ls /    
[servers, zookeeper, hadoop-ha]
[zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha                  --我们配置的mycluster集群
[mycluster]

（6）启动HDFS服务：

[caimh@master-node hadoop-2.7.4]$ sbin/start-dfs.sh
[caimh@master-node hadoop-2.7.4]$ jps
4401 NameNode
4913 Jps
3797 JournalNode
4505 DataNode
4218 QuorumPeerMain
4847 DFSZKFailoverController

（7）在各个NameNode节点上启动DFSZK Failover Controller，先在哪台机器启动，哪个机器的NameNode就是Active NameNode

[caimh@master-node hadoop-2.7.4]$ sbin/hadoop-daemin.sh start zkfc

(8）查看web页面显示

9 验证:将Active NameNode进程kill

[caimh@master-node hadoop-2.7.4]$ jps
4401 NameNode
4913 Jps
3797 JournalNode
4505 DataNode
4218 QuorumPeerMain
4847 DFSZKFailoverController
[caimh@master-node hadoop-2.7.4]$ kill -9 4401
[caimh@master-node hadoop-2.7.4]$ jps
3797 JournalNode
4505 DataNode
4218 QuorumPeerMain
4955 Jps
4847 DFSZKFailoverController

HDFS-HA自动故障转移失效问题参考：https://blog.csdn.net/weixin_38023225/article/details/101418846

月正明

关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
HDFS-HA高可用集群配置

1 HA概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群 NameNode机...
复制链接

扫一扫