Hadoop HA 集群搭建，基于hadoop3

已于 2022-07-21 21:08:21 修改
阅读量950 收藏 7
点赞数 2
分类专栏： Hadoop调优笔记 大数据 文章标签： hadoop hdfs 大数据
于 2022-07-21 20:14:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy86666/article/details/125920173
版权

Hadoop HA

需要先看 hadoop3.3.0集群搭建、Zookeeper3.5.7集群搭建的知识，才能来使用Hadoop HA

注意：Hadoop HA 主要分成：HDFS HA 和Yarn HA

一、HDFS HA 和YARN HA的原理

（一）、HDFS HA的原理

注意：Zookeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务

HADF 的主要包括：NameNode、SecondaryNameNode、DataNode

  • NameNode 主要负责的是元数据的存储
  • SecondaryNameNode 主要是负责的是edits和fsimage的合并
  • DataNode主要负责的是数据的存储

问题：如果NameNode主机宕机了或者机器的维护升级，会导致整个集群无法使用

HDFS HA 思路：

  • 通过配置多个NameNode进行热备来解决
  • 如果active的NameNode出现问题，会立刻切换到另外一台NameNode
  • 平时standby的NameNode会将复制将fsimage和edits进行合并
  • 通过JournalNode来解决edits到其他NameNode的同步问题，让数据保持一致
  • 最后增加了两个新的组件：Zookeeper和ZKFailoveController（ZKFC）进程，实现故障的监测，并实现自动化转换。

在这里插入图片描述

故障的转移机制：

1、假如active的NameNode假死（宕机）了

2、ZKFailovercontroller（zkfc）会检测到假死

3、检测到假死后，会通知另外一台NameNode的zkfc

4、另外一台zkfc收到通知后，会进行ssh 来kill NameNode

5、如果说kill失败会调用用户自定义的脚本程序

6、脚本运行成后，获取命令运行结果

7、运行成功后，激活本台namenode为active

（二）、YARN HA的原理

在这里插入图片描述

创建多个ResourceManger，有active和standby

1、Active 的ResourceManger，会在Zookeeper中注册临时节点，Standby的ResourceManger发现Zookeeper有子节点，它就只能作为Standby了

2、Standby的ResourceManager，在定时轮询Zookeeper的子节点，如果发现Active的ResourceManager创建的子节点挂了，它会立刻进行篡位，将自己注册子节点

二、Hadoop HA的集群规划

在这里插入图片描述

三、Hadoop HA 的搭建

（一） 、HDFS HA 的搭建

core-site.xml

vim $HADOOP_HOME/etc/core-site.xml

添加以下内容：

<configuration>
<!-- 把多个NameNode的地址组装成一个集群myCluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>

<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/ha/hadoop-3.1.3/data</value>
</property>
<!-- 指定 zkfc 要连接的 zkServer 地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

</configuration>

注意：

  • fs.defaultFS 中的 hdfs://mycluster,是我们现在的集群名字，注意这点不要弄错了，后面会使用到

hdfs-site.xml

vim $HADOOP_HOME/etc/hdfs-site.xml

添加内容如下：

<configuration>

<!-- NameNode数据存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/name</value>
</property>

<!-- DataNode数据存储目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/data</value>
</property>

<!-- JournalNode数据存储目录 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>${hadoop.tmp.dir}/jn</value>
</property>

<!-- 完全分布式集群名称 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>


<!-- 集群中 NameNode 节点都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2,nn3</value>
    
</property>
<!-- NameNode 的 RPC 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop2:8020</value>
</property>

<property>
<name>dfs.namenode.rpc-address.mycluster.nn3</name>
<value>hadoop3:8020</value>
</property>
<!-- NameNode 的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop1:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop2:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn3</name>
<value>hadoop3:9870</value>
</property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/mycluster</value>
</property>
<!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要 ssh 秘钥登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/andy/.ssh/id_rsa</value>
</property>
<!-- 启用 nn 故障自动转移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>

（二）、Yarn HA的搭建

yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加内容如下：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop01:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

<!-- 启用 resourcemanager ha -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>


<!-- 声明 resourcemanager 的地址 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster-yarn1</value>
</property>
<!--指定 resourcemanager 的逻辑列表-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2,rm3</value>
</property>
<!-- ========== rm1 的配置 ========== -->
<!-- 指定 rm1 的主机名 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop1</value>
</property>
<!-- 指定 rm1 的 web 端地址 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>hadoop1:8088</value>
</property>
<!-- 指定 rm1 的内部通信地址 -->
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>hadoop1:8032</value>
</property>
<!-- 指定 AM 向 rm1 申请资源的地址 -->
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>hadoop1:8030</value>
</property>
<!-- 指定供 NM 连接的地址 -->
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
<value>hadoop1:8031</value>
</property>
<!-- ========== rm2 的配置 ========== -->
<!-- 指定 rm2 的主机名 -->
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop2</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.resourcemanager.address.rm2</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
<value>hadoop2:8031</value>
</property>
<!-- ========== rm3 的配置 ========== -->
<!-- 指定 rm3 的主机名 -->
<property>
<name>yarn.resourcemanager.hostname.rm3</name>
<value>hadoop3</value>
</property>
<!-- 指定 rm3 的 web 端地址 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm3</name>
<value>hadoop3:8088</value>
</property>
<!-- 指定 rm3 的内部通信地址 -->
<property>
<name>yarn.resourcemanager.address.rm3</name>
<value>hadoop3:8032</value>
</property>
<!-- 指定 AM 向 rm3 申请资源的地址 -->
<property>
<name>yarn.resourcemanager.scheduler.address.rm3</name>
<value>hadoop3:8030</value>
</property>
<!-- 指定供 NM 连接的地址 -->
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
<value>hadoop3:8031</value>
</property>
<!-- 指定 zookeeper 集群的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>


<!-- 启用自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>


<!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 -->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLAS SPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

</configuration>

四、启动Hadoop HA

（一）、启动journalNode

分别需要在hadoop1、Hadoop2、hadoop3启动

hdfs --daemon start journalnode

在这里插入图片描述

会创建一个logs文件夹，来保存日志文件

默认logs的位置是在$HADOOP_HOME/logs下面的

在这里插入图片描述

修改方法：$HADOOP_HOME/etc/hadooop/hadoop-env.sh中添加

export HADOOP_LOG_DIR=路径

补充知识：

在这里插入图片描述

  • 以.log结尾，通过的log4j记录的，采用日常滚动文件追加方式（daily rolling file）来循环管理
    文件

  • 以.out结尾，记录标准输出和标准错误日志，但是hadoop中少用。重启守护进程时，
    会重新创建新的文件来记录日志，而且只会保留5个日志文件，从5~1（5是最旧的

文件）

(二)、namenode格式化

在任意一个节点进行格式化,我选择hadoop1

hdfs namenode -format

在这里插入图片描述

（三）启动Zookeeper集群

分别在hadoop1、hadoop2、hadoop3中执行

zkServer.sh start

或者使用脚本(自己编写的，相关内容请看Zookeeper的集群搭建相关知识点)

zk.sh start

在这里插入图片描述

（四）初始化HA在Zookeeper的状态

hdfs zkfc -formatZK

在这里插入图片描述

(五)、需要将hadoop1（nn1）中NameNode初始化，与hadoop2（nn2）和hadoop3（nn3）进行同步

分别在hadoop2、hadoop3中进行执行

hdfs namenode -bootstrapStandby

（六）、启动HDFS、yarn

start-dfs.sh
start-yarn.sh

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7kvZFX0w-1658405591745)(G:/md%E7%AC%94%E8%AE%B0%E7%9A%84pdf/%E5%A4%A7%E6%95%B0%E6%8D%AEpdf/hadoop/hadoop%E7%9A%84HA%E9%AB%98%E5%8F%AF%E7%94%A8/12ea959b203e4113b20f7a70eb58a285.png)]

在这里插入图片描述

补充知识：

  • 查看ResourceManager的状态
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
yarn rmadmin -getServiceState rm3

在这里插入图片描述

Andy86666
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
Hadoop HA集群搭建
lyee_feng的博客
12-17 265
一、集群服务器准备工作        1.修改主机名    vi /etc/sysconfig/network；                       2.修改sudo权限  vi /etc/sudoers          找到root           ALL=(ALL)         ALL这行，然后在下面添加一行：hadoop         ALL=(ALL)  
hadoop ha集群搭建1
08-08
ha会用到fusersudo yum install psmisc -y #关闭IPv6sudo vi /etc/modprobe.d/dist.conf   
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
hadoop(3) 搭建hadoop-HA_hadoop3 ha，2024年最新2024大厂大数据开发面试经验
2401_84164617的博客
04-15 578
在node01上执行，将node01的公钥发给所有node节点，让node01能直接免密登录到其他node节点。#在node02上执行，将node02的公钥发给所有node节点，让node02能直接免密登录到其他node节点。#将/etc/hostname的文本修改为对应服务器名（master01，node01，node02）#修改并添加启动的namenode节点、zookeeper 节点和对应端口。#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间。
hadoop3.3.5集群搭建
qikuhu的博客
09-14 551
hadoop3.3.5集群搭建
16 ，高可用集群的搭建 ( HA )
孙砚秋的博客
07-03 483
一 ，理论知识 ： 1 ，前提 ： 基于 zookeeper 2 ，架构图 ： 3 ，各个组件的作用 ：NameNode ( 2 个 ) 他是 hdfs 主节点。 NameNode 的 active 状态 ： 使用中的主节点 NameNode 的 stabdby 状态 ： 待命的主节点 4 ，各个组件的作用 ：zkfc ( 2 个，跟 nameNode/resourceManager 在一起...
ZooKeeper与NanmeNode的HA的一些理解，包括hdfs zkfc -formatZK的作用等。但与DN无关
暗黑世界
05-29 5217
原文地址1     原文地址2 本文只说理论，不设计如何配置和部署这些实例 0、引子 zkfc是什么？ ZKFailOverController 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？  每个运行NN的节点必须要运行一个zkfc 有啥功能？ Health monitoring zkfc定期对本地的NN发起health-che
【大数据Hadoop】HDFS-HA模式下ZKFC(DFSZKFailoverController)高可用主备切换机制
如切如磋，如琢如磨，臻于至善。
03-26 2539
当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前Active NameNode的一些信息，比如主机名等等。当Active NameNode出现失败或连接超时的情况下，监控程序会将ZK上对应的临时znode进行删除，znode的删除事件会主动触发到下一次的Active NamNode的选择。根据检测出的不同状态之后，会调用enterState方法，在这个方法内部会触发相应状态的回调事件。这2个方法会在HDFS HA自动切换最后被调用。
致那时那刻，所犯下的错——Hadoop错误集合
loftiest的博客
11-18 2765
看日志(很重要) 日志在hadoop根目录下logs目录下，根据出错时间找到时间相符的文件cat DataNode未启动 删除core-site.xml中hadoop.tmp.dir指定的目录，集群机器全都删除，使用hdfs namenode -format重新格式化，再启动集群。 Namenode未启动 非高可用 删除core-site.xml中hadoop.tmp.dir指定的目录，集群机器全都删除，使用hdfs namenode -format重新格式化，再启动集群。 高可用 删除core-site.
DFSZKFailoverController启动失败
wzg19690226wzg的博客
01-24 4934
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/y12345678904/article/details/52727058 &lt;/div&gt; &lt;link rel="stylesheet" href="https://csdnimg.cn/release/p...
DFSZKFailoverController进程未启动
weixin_45565867的博客
06-10 1353
##DFSZKFailoverController进程未启动 配置hadoop时jps查看进程发现少了一个DFSZKFailoverController进程未启动 怀疑自己环境配置错误检查了很久， 发现这个进程与“hdfs-site.xml”有关系，就重点检查了一下，点开文件发现未配置，回想一下发现我找错文件配置了，重新配置了一下，重新启动进程，还是没有…… 最后找了很久原因，如下几点： 1.更改配置文件后，重新分发配置文件到其他机器。 xsync hadoop-2.6.0-cdh5.14.2/ 2.先关闭
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
Hadoop HA集群配置.docx
08-23
总之，配置Hadoop HA集群是一个复杂的过程，涉及到多个组件的协同工作，尤其是ZooKeeper作为基石，对于整个集群的稳定性和高可用性至关重要。正确配置和管理ZooKeeper集群是实现Hadoop HA的关键步骤之一。
Hadoop2.0 HA集群搭建步骤
08-11
所谓HA，即高可用，实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA；通过双namenode消除单点故障；通过双namenode协调工作
大数据hadoop ha集群搭建流程.docx
10-31
。。。
Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController（一）
weixin_33912638的博客
12-14 1201
一、简介 DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件，它负责整体的故障转移控制等。它是一个守护进程，通过main()方法启动，继承自ZKFailoverController。 二、实现流程 1、启动 通过main()方法启动，如下： ...
基于Zookeeper搭建hadoop的HA功能
枣泥馅的博客
07-05 569
简介 使用zookeeper和Hadoop的FailOverController的心跳检测来维护hadoop，并在hadoop宕机的时候通过zookeeper选举功能进行Active的切换 并使用JournalNode来维护Namenode的日志和元信息 集群规划 Zookeeper集群： 192.168.112.112 （bigdata112） 192.168.112.113 （bigdata113） 192.168.112.114 （bigdata114） Hadoop集群： 192.168.112..
hadoop HA集群搭建
最新发布
06-16
下面是Hadoop HA集群搭建的基本步骤： 1. **安装并配置Hadoop**: - 安装Hadoop到两个或更多节点上，每个节点都是一个独立的Hadoop集群实例。 - 配置`core-site.xml`和`hdfs-site.xml`文件，设置集群的名称节点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值