大数据Hadoop学习(12)-HDFS HA高可用配置

最新推荐文章于 2024-03-16 16:19:40 发布
最新推荐文章于 2024-03-16 16:19:40 发布
阅读量2.5k 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33956508/article/details/106169556
版权

HDFS HA高可用

文章目录

1 HA概述

1）所谓HA（high available），即高可用（7*24小时不中断服务）。

2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

4）NameNode主要在以下两个方面影响HDFS集群

​ NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启

​ NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA功能通过配置Active/Standby两个nameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

2 HDFS-HA工作机制

通过双namenode消除单点故障

2.1 HDFS-HA工作要点

  1. 元数据管理方式需要改变

内存中各自保存一份元数据；

Edits日志只有Active状态的namenode节点可以做写操作；

两个namenode都可以读取edits；

共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；

  1. 需要一个状态管理功能模块

实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在namenode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止brain split现象的发生。

  1. 必须保证两个NameNode之间能够ssh无密码登录

  2. 隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

2.2 HDFS-HA自动故障转移工作机制

前面学习了使用命令hdfs haadmin -failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

**1）故障检测：**集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。

**2）现役NameNode选择：**ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。

ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

**1）健康监测：**ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

**2）ZooKeeper会话管理：**当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。

**3）基于ZooKeeper的选择：**如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为active状态。

在这里插入图片描述

图 HDFS-HA故障转移机制

3 HDFS-HA集群配置

3.1 环境准备

见大数据Hadoop学习(1)-虚拟机准备

  1. 修改IP

  2. 修改主机名及主机名和IP地址的映射

  3. 关闭防火墙

  4. ssh免密登录

  5. 安装JDK，配置环境变量等

3.2 规划集群

node1node2node3
NameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKZKZK
ResourceManager
NodeManagerNodeManagerNodeManager

​

3.3 配置Zookeeper集群

见大数据Hadoop学习(5)-ZooKeeper安装

在node1、node2和node3三个节点上部署Zookeeper。

3.4 配置HDFS-HA集群

  1. 官方地址：http://hadoop.apache.org/

  2. 在/opt/software目录下创建一个ha文件夹

mkdir /opt/software/ha
  1. 将/opt/software下的 hadoop-2.7.0拷贝到/opt/software/ha目录下
cp -r hadoop-2.7.0/ /opt/software/ha

注意：之后所有的涉及hadoop的命令都在/opt/software/ha/hadoop-2.7.0下执行
4. 配置hadoop-env.sh（已配置好）

文件位置/opt/software/ha/hadoop-2.7.0/etc/hadoop/

export JAVA_HOME=/opt/software/jdk1.8.0_161
  1. 配置core-site.xml
<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
		<property>
			<name>fs.defaultFS</name>
        	<value>hdfs://mycluster</value>
		</property>

		<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/software/ha/hadoop-2.7.0/data/tmp</value>
		</property>
</configuration>
  1. 配置hdfs-site.xml
<configuration>
	<!-- 完全分布式集群名称 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>	

	<!-- 集群中NameNode节点都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>node1:9000</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>node2:9000</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>node1:50070</value>
	</property>

	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>node2:50070</value>
	</property>

	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
	</property>

	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>

	<!-- 使用隔离机制时需要ssh无秘钥登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>

	<!-- 声明journalnode服务器存储目录-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/software/ha/hadoop-2.7.0/data/jn</value>
	</property>

	<!-- 关闭权限检查-->
	<property>
		<name>dfs.permissions.enable</name>
		<value>false</value>
	</property>

	<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
	<property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
</configuration>
  1. 拷贝配置好的hadoop环境到其他节点
scp -r /opt/software/ha/ node2:/opt/software/
scp -r /opt/software/ha/ node3:/opt/software/

3.5 启动HDFS-HA集群

  1. 在各个JournalNode节点上(这里即node1、node2、node3)，输入以下命令启动journalnode服务
cd /opt/software/ha/hadoop-2.7.0
sbin/hadoop-daemon.sh start journalnode
  1. 在[nn1]上(这里即node1)，对其进行格式化，并启动
bin/hdfs zkfc -formatZK
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
  1. 在[nn2]上，同步nn1的元数据信息
bin/hdfs namenode -bootstrapStandby
  1. 启动[nn2]
 sbin/hadoop-daemon.sh start namenode
  1. 查看web页面显示

访问node1:50070看到node1:9000(standby)

在这里插入图片描述

访问node2:50070看到node2:9000(standby)

在这里插入图片描述

  1. 在[nn1]上，启动所有datanode
cd /opt/software/ha/hadoop-2.7.0
sbin/hadoop-daemons.sh start datanode
  1. 将[nn1]切换为Active
 bin/hdfs haadmin -transitionToActive nn1
  1. 查看是否Active
 bin/hdfs haadmin -getServiceState nn1 #返回值active

在这里插入图片描述

3.6 配置HDFS HA故障转移

配置文件都在/opt/software/ha/hadoop-2.7.0/etc/hadoop

  1. 在hdfs-site.xml中增加
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

2.在core-site.xml文件中增加

<property>
  <name>ha.zookeeper.quorum</name>
  <value>node1:2181,node2:2181,node3:2181</value>
</property>

3.将配置文件分发到其他节点上：

scp /opt/software/ha/hadoop-2.7.0/etc/hadoop/core-site.xml \
node2:/opt/software/ha/hadoop-2.7.0/etc/hadoop/core-site.xml

scp /opt/software/ha/hadoop-2.7.0/etc/hadoop/core-site.xml \
node3:/opt/software/ha/hadoop-2.7.0/etc/hadoop/core-site.xml 

scp /opt/software/ha/hadoop-2.7.0/etc/hadoop/hdfs-site.xml \
node3:/opt/software/ha/hadoop-2.7.0/etc/hadoop/hdfs-site.xml

scp /opt/software/ha/hadoop-2.7.0/etc/hadoop/hdfs-site.xml \
node2:/opt/software/ha/hadoop-2.7.0/etc/hadoop/hdfs-site.xml

4.关闭HDFS服务，启动zk集群


[root@node1 hadoop-2.7.0]# sbin/stop-dfs.sh
[root@node1 hadoop-2.7.0]# cd /opt/software/zookeeper-3.4.6/
[root@node1 zookeeper-3.4.6]# bin/zkServer.sh start

[root@node2 zookeeper-3.4.6]#bin/zkServer.sh start

[root@node3 zookeeper-3.4.6]#bin/zkServer.sh start

5.初始化HA在Zookeeper中状态：

[root@node1 hadoop-2.7.0]# bin/hdfs zkfc -formatZK

6.启动HDFS服务：

[root@node1 hadoop-2.7.0]# sbin/start-dfs.sh

小插曲：datanode起不来 ，live node数为0

查看日志/opt/software/ha/hadoop-2.7.0/logs/hadoop-root-datanode-node1.log

2020-05-14 23:04:44,107 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data/in_use.lock acquired by nodename 12200@node1
2020-05-14 23:04:44,109 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data: namenode clusterID = CID-0d0feb48-50e2-49d9-80f7-407b1e839d9e; datanode clusterID = CID-53c06bd5-5059-40e4-b911-d9d5f755cff4
2020-05-14 23:04:44,112 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data/in_use.lock acquired by nodename 12200@node1
2020-05-14 23:04:44,112 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data: namenode clusterID = CID-0d0feb48-50e2-49d9-80f7-407b1e839d9e; datanode clusterID = CID-53c06bd5-5059-40e4-b911-d9d5f755cff4
2020-05-14 23:04:44,113 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to node2/192.168.200.102:9000. Exiting.

参考https://blog.csdn.net/972301/article/details/72862411

原因 执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变

[root@node1 hadoop-2.7.0]# cat /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data/current/VERSION
#Thu May 14 17:23:08 CST 2020
storageID=DS-27aa2183-0a9f-4111-bc46-fffa379b1649
clusterID=CID-53c06bd5-5059-40e4-b911-d9d5f755cff4
cTime=0
datanodeUuid=14096da4-8986-4464-9c95-a623af102db5
storageType=DATA_NODE
layoutVersion=-56

[root@node1 hadoop-2.7.0]# cat /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/name/current/VERSION
#Thu May 14 19:24:11 CST 2020
namespaceID=609170622
clusterID=CID-0d0feb48-50e2-49d9-80f7-407b1e839d9e
cTime=0
storageType=NAME_NODE
blockpoolID=BP-2104510874-192.168.200.101-1589455451798
layoutVersion=-63

解决 把name/current/VERSION里面的clusterID复制下来，依次替换data/current/VERSION里的clusterID

sed -i 's/clusterID=.*/clusterID=【新id】/g' /opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data/current/VERSION

node2、node3上都删掉rm -rf /opt/software/ha/hadoop-2.7.0/重新拷贝

scp -r /opt/software/ha/ node2:/opt/software/
scp -r /opt/software/ha/ node3:/opt/software/

还是不管用。。。

最终方案参考https://blog.csdn.net/weixin_40743261/article/details/90167105

删除三个节点下datanode的文件夹/opt/software/ha/hadoop-2.7.0/data/tmp/dfs/data

重新启动sbin/start-dfs.sh

查看2个namenode的状态

[root@node1 hadoop-2.7.0]# bin/hdfs haadmin -getServiceState nn1
active
[root@node1 hadoop-2.7.0]# bin/hdfs haadmin -getServiceState nn2
standby

浏览器查看2个namenode的状态

在这里插入图片描述

在这里插入图片描述

然后将active状态的namenode进程杀掉，再查看standby的namenode是否能正常切换为active。

[root@node1 hadoop-2.7.0]# jps
12993 NameNode
13281 DFSZKFailoverController
13065 DataNode
13162 JournalNode
12908 QuorumPeerMain
13357 Jps
[root@node1 hadoop-2.7.0]# kill -9 12993

再次查看

[root@node1 hadoop-2.7.0]# bin/hdfs haadmin -getServiceState nn1
20/05/15 00:58:32 INFO ipc.Client: Retrying connect to server: node1/192.168.200.101:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=1, sleepTime=1000 MILLISECONDS)
Operation failed: Call From node1/192.168.200.101 to node1:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
[root@node1 hadoop-2.7.0]# bin/hdfs haadmin -getServiceState nn2
active

node1:50070已经访问不了，node2:50070可以看到nn2处在active状态
在这里插入图片描述

如果故障转移失败，参考https://www.jianshu.com/p/3e6263e38665

我使用的centos版本确少fuser命令

查看node2上日志/opt/software/ha/hadoop-2.7.0/logs/hadoop-root-zkfc-node2.log

2020-05-15 00:48:41,117 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: command not found

缺少fuser命令

fuser命令是用来显示所有正在使用着指定的file, file system 或者 sockets的进程信息

安装yum -y install psmisc

LoongKK
关注
专栏目录
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3363
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
最新发布
2301_77356579的博客
05-03 911
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
hdfs高可用配置文件
07-06
hdfs高可用配置和相关文件夹的建立，亲测试可用，
HDFS高可用（HA）配置
he_321的博客
11-18 819
关于HDFS HA如何进行设计，请查看——>HDFS高可用（HA）设计，以下的配置也都是根据此文中的设计方式进行配置，所以为了更好的理解下面各个配置的含义，务必先阅读此文。对各个节点进行划分：
HDFS高可用搭建
weixin_47260194的博客
02-26 1223
HDFS HA高可用集群部署
HDFS高可用配置
工作点滴
07-25 693
在前面安装完成完全分布式的基础上改造为高可用 1.安装启动zookeeper a)上传解压zookeeper包 b)cp zoo_sample.cfg zoo.cfg修改zoo.cfg文件 c)dataDir=/opt/data/zookeeper server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3
HAWQ配置之HDFS HA
weixin_33795743的博客
10-24 368
一、在ambari管理界面启用HDFS HA 在ambari中这步很简单，在所有安装的服务都正常之后，在HDFS的服务界面中，点击下拉菜单“Actions”，选择启用HDFS HA项 “Enable NameNode HA”，然后根据提示向导一步一步的认真做就可以了。尤其需要注意的是手动操作的环节不用出错。 二、修改HAWQ的配置文件 1，修改hdfs-client.xml有关HA的项目 ...
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
黑泽君
02-24 343
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
大数据--hadoop生态3--HDFS总结
数据挖掘+大数据研发+算法学习
06-01 783
一：HDFS主要组件及其功能
Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用
ly660402的博客
03-30 1327
目录 一、Hadoop高可用 1、zoomkeeper集群部署 2、hdfs高可用 一、Hadoop高可用 在典型的 HA 集群中，通常有两台不同的机器充当 NN。在任何时间，只有一台机器处于 Active 状态；另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作； 而 Standby NN 主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢 复。 为了让 Standby NN ...
HadoopHA高可用集群配置 hdfs-site.xml
07-07
HadoopHA高可用集群配置 hdfs-site.xml
HDFS的高可用
简单随风的博客
07-16 2764
下面我们首先来看一下HDFS的高可用，也可以称之为HA(High Available) HDFS的HA，指的是在一个集群中存在多个NameNode，分别运行在独立的物理节点上。在任何时间 点，只有一个NameNode是处于Active状态，其它的是处于Standby状态。 Active NameNode(简写为 Active NN)负责所有的客户端的操作，而Standby NameNode(简写为Standby NN)用来同步Active NameNode的状态信息，以提供快速的故障恢复能力。 为了保证A
Hadoop框架：HDFS高可用环境配置
【积累】，是一个长期持续的过程。
10-27 1411
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。...
HDFS高可用架构
qq_62553456的博客
06-26 984
NameNode负责响应客户端的请求，负责管理整个文件系统的元数据HDFS的读、写操作都必须向NameNode申请，元数据非常关键负责维持文件副本的数据是为了帮助NameNode合并编辑日志，减少NameNode启动时间。另外NamNode的元数据丢失可以通过恢复。DataNode负责存放被切割后的文件块，文件在DataNode中存储单位是块(Block)如果集群是完全分布式的，那么一个文件的每一块都必须有多个副本，存放在不同的DataNode上。
HDFS高可用配置及其高可用集群搭建
wxk的博客
11-04 2988
HDFS的HA（高可用）的背景、造成故障的原因以及解决方案，同时介绍了HA的解决方案-QJM 并详细记录了HA集群搭建的过程
HDFS-高可用(HA)配置和使用
ccyy
04-23 475
HA(High Available)，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。 通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。 一、前置条件 安装好 Hadoo...
【HDFS篇12】HA高可用 --- HDFS-HA集群配置
FocusBigData博客
07-13 603
保持自己的节奏前进就对了 HDFDS-HA集群配置 (一)环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK，配置环境变量等 (二)规划集群 看出我们将NameNode分布到两台机器上，保证集群的高可用性 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode ZK .
hadoop-hdfs配置 + HA(高可用)配置(学习)
m0_65385133的博客
03-16 1391
需要编写hadoop目录下的配置文件配置文件在hadoop安装目录下面的etc/hadoop/下。成功会出现namenode,datanode,secondarynamenode。在浏览器中打开namenode所在id: 192.168.72.88:9870。core-site.xml hadoop的核心配置文件。hadoop-env.sh 配置hadoop的相关环境。hdfs-site.xml hdfs的核心配置文件。
HDFS高可用
m0_72324953的博客
01-09 634
HDF高可用，实际上主要是保证NameNode高可用
Hadoop HDFS HA高可用配置详解
文档讲述了Hadoop在大数据环境中的高可用性（HA）配置，主要关注Hadoop分布式文件系统（HDFS）和资源调度器YARN的HA实现，以及如何在Hadoop 3.2版本中搭建和管理这样的高可用集群。以下是详细的知识点总结： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值