Hadoop-HA-3.3.3高可用集群搭建

已于 2023-07-22 21:42:50 修改
阅读量3.1k 收藏 37
点赞数 11
分类专栏： 大数据笔记 文章标签： hadoop hdfs big data 大数据 linux
于 2022-05-29 20:43:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39604679/article/details/125035946
版权

Hadoop-HA-3.3.3高可用集群搭建

前言

在之前搭建的Hadoop完全分布式集群中存在着单点故障问题，如果namenode宕机或是软硬件升级，集群将无法使用。实现高可用的主要目的就是消除单点故障（SPOF）。HA又包括HDFS HA和YARN HA。本文将介绍hadoop3.x版本的高可用集群搭建，但不完全从零开始搭建，只在原有的配置文件上做修改再测试。

软件版本

  • hadoop-3.3.3
  • zookeeper-3.8.0
  • jdk1.8
  • 操作系统：centos7

环境准备

  • 修改主机名，主机名和ip地址映射
  • 关闭防火墙
  • ssh免密登录
  • 安装jdk，配置环境变量
  • zookeeper集群

hadoop完全分布式搭建
zookeeper集群搭建

之前只在master上配了免密登录，需要在worker1和worker2上面进行同样的操作实现三台机器相互登录免密

一、HDFS-HA集群搭建

HDFS-HA高可用功能是通过配置多个NameNode（active/standby）实现对NameNode的热备用来解决以上问题。当机器崩溃或机器需要维护升级的情况下可以将NameNode快速转移到另外一台机器上。

在HDFS-HA集群中，两台或多台独立的集群被配置为NameNode。在任何时刻只能有一个NameNode处于Active状态，其他NameNode处于Standby状态。而 Standby 只是充当从属节点，保持足够的状态以在必要时提供快速故障转移。

一次只有一个 NameNode 处于Active状态对于 HA 集群的正确操作至关重要。否则，命名空间状态将很快在两者之间产生分歧，从而冒着数据丢失或其他不正确结果的风险。为了保证这个属性并防止所谓的“裂脑场景”，管理员必须为共享存储配置至少一种隔离方法。在故障转移期间，如果无法验证前一个 Active 节点已放弃其 Active 状态，则防护进程负责切断前一个 Active 对共享编辑存储的访问。这可以防止它对命名空间进行任何进一步的编辑，从而允许新的 Active 安全地进行故障转移。

1. HDFS-HA手动模式

集群规划

masterworker1worker2
NameNode
JournalNode
DataNode		NameNode
JournalNode
DataNode		NameNode
JournalNode
DataNode

将之前搭建的拷贝一份，在workers中把master也加上

# 在三台机器上执行
cp -r hadoop-3.3.3/ hadoop-3.3.3-bak

cd /usr/local/src/hadoop-3.3.3/etc/hadoop
vi workers
# workers内容如下
master
worker1
worker2

修改配置文件

1. core-site.xml

<!-- 把多个NameNode的地址组装成一个集群，集群名字随便取 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-3.3.3/tmp</value>
</property>

2. hdfs-site.xml

<!-- namenode存储目录 -->
<property>
	<name>dfs.namenode.name.dir</name>
    <value>/usr/local/src/hadoop-3.3.3/name</value>
</property>
<!-- datanode数据存储目录 -->
<property>
	<name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop-3.3.3/data</value>
</property>
<!-- journalnode数据存储目录 -->
<property>
	<name>dfs.journalnode.edits.dir</name>
    <value>/usr/local/src/hadoop-3.3.3/jn</value>
</property>
<!-- 完全分布式集群名称 -->
<property>
	<name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<!-- 集群中的namenode节点都有哪些 -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
</property>
<!-- namenode的RPC通信地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>master:9000</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>worker1:9000</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>worker2:9000</value>
</property>
<!-- namenode的http通信地址 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>master:9870</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>worker1:9870</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>worker2:9870</value>
</property>
<!-- 指定namenode元数据在journalnode上的存放位置，journalnode用于同步主备namenode之间的edits文件 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master:8485;worker1:8485;worker2:8485/mycluster</value>
</property>
<!-- 访问代理类：client用于确定哪个NameNode为Active -->
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
	<name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>
<!-- 使用隔离机制时需要ssh秘钥登陆 -->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

3. hadoop-env.sh

# 添加以下内容
export HDFS_JOURNALNODE_USER=root

4. 分发

cd hadoop-3.3.3/etc/hadoop/

scp hadoop-env.sh root@worker1:$PWD
scp hadoop-env.sh root@worker2:$PWD
scp core-site.xml root@worker1:$PWD
scp core-site.xml root@worker2:$PWD
scp hdfs-site.xml root@worker1:$PWD
scp hdfs-site.xml root@worker2:$PWD

5. 启动测试

  1. 启动journalnode
# 在三台机器上执行
hdfs --daemon start journalnode

image-20220529155851943

  1. 在nn1上格式化并启动
# 格式化
hdfs namenode -format
# 启动
hdfs --daemon start namenode

image-20220529160312924

访问web界面，由于是手动模式所以需要手动切换为Active

image-20220529160427083

  1. 在nn2和nn3上，同步nn1的元数据信息
# 在nn2和nn3上执行
hdfs namenode -bootstrapStandby
  1. 启动nn2和nn3
# 在nn2和nn3上执行
hdfs --daemon start namenode

查看一下这两个节点的web页面

image-20220529161440757

image-20220529161453642

  1. 在所有节点启动datanode
# 在三台机器上执行
hdfs --daemon start datanode

image-20220529161635587

  1. 将nn1切换为Active
hdfs haadmin -transitionToActive nn1

image-20220529161824952

可以看出只能同时存在一个active的节点

image-20220529162032812

  1. 查看是否Active
hdfs haadmin -getServiceState nn1

image-20220529162336822

2. HDFS-HA自动模式

手动模式需要自己去切换namenode状态，太鸡肋了。一般都不会去用手动模式而是自动模式。

自动故障转移需要部署zookeeper，新增了ZKFailoverController(ZKFC)进程。

还需要安装一个包，以解决自动切换失败的问题。

yum install -y psmisc

集群规划

masterworker1worker2
NameNode
JournalNode
DataNode
Zookeeper
ZKFC		NameNode
JournalNode
DataNode
Zookeeper
ZKFC		NameNode
JournalNode
DataNode
Zookeeper
ZKFC

1. hdfs-site.xml

在hdfs-site.xml中增加

<!-- 启用namenode故障自动转移 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

2. core-site.xml

在core-site.xml中增加

<!-- 指定要连接的zkServer地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
    <value>master:2181,worker1:2181,worker2:2181</value>
</property>

3. hadoop-env.sh

在hadoop-env.sh中增加

export HDFS_ZKFC_USER=root

3. 分发

cd hadoop-3.3.3/etc/hadoop/

scp hadoop-env.sh root@worker1:$PWD
scp hadoop-env.sh root@worker2:$PWD
scp core-site.xml root@worker1:$PWD
scp core-site.xml root@worker2:$PWD
scp hdfs-site.xml root@worker1:$PWD
scp hdfs-site.xml root@worker2:$PWD

4. 启动测试

  1. 启动zookeeper
# 三台机器执行
zkServer.sh start

image-20220529164820261

  1. 初始化HA在zookeeper中的状态
hdfs zkfc -formatZK
  1. 启动hdfs集群
start-dfs.sh

image-20220529164941493

在zookeeper cli中查看状态

# 打开zkCli
zkCli.sh

# 在cli中执行，查看谁是active节点
get -s /hadoop-ha/mycluster/ActiveStandbyElectorLock

nn2被选为了Active节点

image-20220529165621517

image-20220529165634973

把nn2干掉试试看

image-20220529165743029

kill -9 15451

再次查看

image-20220529165845906

active自动切换到了nn3

二、YARN-HA 配置

和HDFS HA思想一样，配置多个ResouceManager，一个Active，其余Standby。

先启动的RM会将状态写入ZK，然后Active，其余Standby将继续循环轮询，一旦Active挂掉立马夺权篡位。

image-20220529193404347

集群规划

masterworker1worker2
ResouceManager
NodeManager
Zookeeper		ResouceManager
NodeManager
Zookeeper		ResouceManager
NodeManager
Zookeeper

1. yarn-site.xml

<!-- nodemanager获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 启用resourcemanager ha -->
<property
	<name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<!-- 声明resourcemanager的地址 -->
<property>
	<name>yarn.resourcemanager.cluster-id</name>
    <value>cluster-yarn1</value>
</property>
<!-- 指定resourcemanager的逻辑列表 -->
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2,rm3</value>
</property>

<!-- rm1的配置=-========= -->
<!-- 指定rm1的主机名 -->
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
    <value>master</value>
</property>
<!-- 指定rm1的web端地址 -->
<property>
	<name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>master:8088</value>
</property>

<!-- rm2的配置=-========= -->
<!-- 指定rm2的主机名 -->
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
    <value>worker1</value>
</property>
<!-- 指定rm2的web端地址 -->
<property>
	<name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>worker1:8088</value>
</property>

<!-- rm3的配置=-========= -->
<!-- 指定rm3的主机名 -->
<property>
	<name>yarn.resourcemanager.hostname.rm3</name>
    <value>worker2</value>
</property>
<!-- 指定rm3的web端地址 -->
<property>
	<name>yarn.resourcemanager.webapp.address.rm3</name>
    <value>worker2:8088</value>
</property>

<!-- 指定zookeeper集群地址 -->
<property>
	<name>hadoop.zk.address</name>
    <value>master:2181,worker1:2181,worker2:2181</value>
</property>

<!-- 启用自动恢复 -->
<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>

<!-- 指定resourcemanager的状态信息存储在zookeeper集群 -->
<property>
	<name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<!-- 忽略虚拟内存检查 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

2. 分发

cd /usr/local/src/hadoop-3.3.3/etc/hadoop

scp yarn-site.xml root@worker1:$PWD
scp yarn-site.xml root@worker2:$PWD

3. 启动测试

  1. 启动yarn
start-yarn.sh

保证每个节点都有这两个进程

image-20220529202435868

  1. 查看节点状态
yarn rmadmin -getServiceState rm1

image-20220529202913774

此时在浏览器访问master:8088和worker2:8088都会直接跳转到worker1:8088

  1. 干掉Active

image-20220529203144776

kill -9 22990

此时worker2【rm3】切换为了Active

image-20220529203234033

~hadoop-ha集群搭建到此结束

总结

以上就是Hadoop-HA集群搭建的内容了，本文介绍了hadoop-ha集群的搭建在完全分布式的基础上更改的一些配置，可以看出配置文件的内容比较多，最终三台机器上的进程应该是这个样子的：

masterworker1worker2
NameNode
JournalNode
DataNode
Zookeeper
ZKFC
ResourceManager
NodeManager		NameNode
JournalNode
DataNode
Zookeeper
ZKFC
ResourceManager
NodeManager		NameNode
JournalNode
DataNode
Zookeeper
ZKFC
ResourceManager
NodeManager
bloom__❀；
关注
专栏目录
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2598
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
3 Hadoop-HDFS
PhoenixLuo·的博客
04-04 1052
目录 3.1 Apache版本Hadoop重新编译 3.1.1 为什么要编译Hadoop 3.1.2 编译环境的准备 3.2 Hadoop安装 3.2.1 上传apache Hadoop包并压缩 3.2.2 修改配置文件 3.2.3 配置Hadoop的环境 3.2.4 启动集群 3.3 Hadoop核心-HDFS 3.3.1 HDFS概述 3.3.2 HDFS应用场景 适合的应用场景 不适合的应用场景 3.3.3 HDFS架构 3.3.4 NameNode和DataNode
hadoop3 高可用集群
qq_34304427的博客
09-17 1093
配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop。在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小。
Hadoop搭建集群
m0_70405779的博客
08-04 2570
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
Hadoop3的高可用搭建
Baron_ND的博客
06-21 1598
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。
【Hadoop3.1.X-3-Hadoop3.x高可用集群搭建】
weixin_38136584的博客
01-08 460
Hadoop3.1.X-3-Hadoop3.x高可用集群搭建
hadoop-3.3.0 集群搭建
小柒心得
07-07 444
hadoop集群搭建
Hadoop的HA机制(Zookeeper集群+Hadoop集群)配置记录
热门推荐
BD的笔记
04-12 1万+
博主：hadoop_version=2.4.1 java_version=1.7 zooKeeper_version=3.4.5 Linux =CentOs 6.5 1.首先说明HA是什么？ HA意为High Available，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通
Hadoop3.1.3部署汇总
最新发布
weixin_64623018的博客
09-05 715
1.1 Hadoop 是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。（2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加
Flink第三章Flink集群搭建
汉子一枚
07-20 506
Flink集群搭建 Flink 支持多种安装模式。 local（ 本地） ——单机模式， 一般不使用 standalone ——独立模式， Flink 自带集群，开发测试环境使用 yarn——计算资源统一由 Hadoop YARN 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 https://archive.apache.org/dist/flink/fli
Flink_集群搭建
qq_44509920的博客
07-07 369
文章目录3.1 standalone 集群环境3.1.1 准备工作3.1.2 下载安装包3.1.3 集群规划3.1.4 步骤3.1.5具体操作3.1.6 启动/停止 flink 集群3.1.7 Flink 集群的重启或扩容3.1.8 Standalone 集群架构3.2 高可用 HA 模式3.2.1 HA 架构图3.2.2 集群规划3.2.3 步骤3.2.4 具体操作3.3 yarn 集群环境3.3.1 准备工作3.3.2 集群规划3.3.3 修改 hadoop 的配置参数3.3.4 修改全局变量/etc/
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
Apache Hadoop （hadoop-3.3.3.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，因此在计算机集群之上提供高可用性服务，每台计算机都可能容易出现故障。
HadoopHA高可用集群配置 hdfs-site.xml
07-07
HadoopHA高可用集群配置 hdfs-site.xml
Hadoop3以及高可用HA搭建方式.zip
07-10
01_hadoop简介 05_hadoop3.0开篇介绍 06_hadoop3的新特性 07_伪分布式安装1 08_伪分布式安装2 09_伪分布安装3 10_ha高可用搭建
Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建
峰
03-17 748
Hadoop3高可用（HA:High Available）测试集群搭建。NameNode是整个Hadoop集群的大脑。HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。
Hadoop高手之路3-Hadoop集群搭建
W_chuanqi的博客
11-08 1655
Hadoop集群启动后，默认开发了9870端口（hadoop3.0以上版本，老版本使用50070）用于监控hdfs，8088用于监控yarn，可以通过WebUI查看。通过这个案例可以看出，圆周率的精度很低，mapreduce不善于数据计算，而在于数据的分析。JDK是java的开发工具包，hadoop是用java开发的，所以需要安装jdk。并没有启动独立模式，也就是启动独立模式也需要对hadoop进行配置。守护进程运行在由多台主机搭建的集群上，是真正的生产环境。又称单机模式，所有的进程运行在一台主机上。
大数据之路-Hadoop-3-hadoop HA集群搭建
幸运的天才小驴的专栏
01-18 3614
一前期需要准备的环境 1 Mac中准备7台Centos 65 虚拟机 2 配置 Linux 主机名 - 7台机子都配置 3 配置IP - 7台机子都分别配置 4 配置主机名和IP的映射关系 5 配置 SSH 免密登录 二安装zookeeper集群 1 hadoop用户目录下创建一个 apps文件夹 2 解压 zookeeper-348targz 3 修改配置文件 zoocfg 4 z...
hadoop3.x集群搭建
qq_25542879的博客
04-26 6327
hadoop3.x集群搭建(亲测有效~） 之前集群搭建过hadoop2.6和2.7，但是听说hadoop3.x有新特性，减少了IO的次数，据介绍并行计算能力是spark的10倍。所以，笔者开始尝试搭建，找网上找了好多资料，结合自己的经验，终于搭建成功，花了从虚拟机安装到搭建hadoop框架花了两天时间,着实不容易哈哈。接下来，将一一介绍精简的配置搭建hadoop。 准备步骤 你需要准备3或者3...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bloom__❀；

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值