ResourceManager HA 原理

已于 2024-05-13 15:46:48 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： 大数据组件相关方案&自动化部署 文章标签： 大数据 hadoop java
于 2023-05-10 11:51:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ATYtian/article/details/130597640
版权

  1. 简介

为了解决 Yarn 中 ResourceManager 的单点故障问题，在 Hadoop 2.4 中新增了 ResourceManager HA 的能力， 该文章基于 Hadoop 3.1.1 进行讲解。

1.1. 名词定义

全称 简称 备注
ResourceManager Rm
Zookeeper ZK

  1. ResourceManager Ha 架构

ResourceManager HA 是基于 Active/Standby 架构形态，在集群中任意时刻最多只能有一个 Active 状态的 Rm 一个或多个 Standby 状态的 Rm，当 Active RM 故障时会基于 Zookeeper Watcher 机制从 Standby 状态的 Rm 中选取出一个 Rm 进行接管实现自动的故障转移。

  1. ResourceManager 启用 HA

在 yarn-site.xml 新增以下配置并分发重启 Yan 集群即可重启 ResourceManager HA

配置名称 默认值 配置描述
hadoop.zk.address
了解本专栏 订阅专栏 解锁全文
王羲之的之
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
YARN源码分析(三)-----ResourceManager HA之应用状态存储与恢复
走在前往架构师的路上
09-05 5590
前言任何系统即使做的再大，都会有可能出现各种各样的突发状况。尽管你可以说我在软件层面上已经做到所有情况的意外处理了，但是万一硬件出问题了或者说物理层面上出了问题，恐怕就不是多写几行代码能够立刻解决的吧，说了这么多，无非就是想强调HA，系统高可用性的重要性。在YARN中，NameNode的HA方式估计很多人都已经了解了，那本篇文章就来为大家梳理梳理RM资源管理器HA方面的知识，并不是指简单的RM的H
Resourcemanager HA
lm709409753的专栏
01-18 2067
1.官网resourcemanager HA  Introduction This guide provides an overview of High Availability of YARN's ResourceManager, and details how to configure and use this feature. The ResourceManager (RM)
hadoop_NameNode、ResourceManager高可用原理
dongkang123456的博客
03-27 571
因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。当 active NameNode 执行了修改命名空间的操作时，它会定期的将执行的操作记录在editLog中，standby 会一直监听 JNS上的editlog的变化。
ResourceManager HA 配置
沉潜飞动
07-11 7374
ResourceManager（RM）负责跟踪集群中资源使用情况，调度应用程序（比如MapReduce作业）。在Hadoop 2.4之前，ResourceManager存在单点故障，需要通过其他方式实现HA。官方给出的HA方案是Active/Standby两种状态ResourceManager的冗余方式，类似于HDFS的HA方案，也就是通过冗余消除单点故障。
关于hadoop yarn主备切换，resourcemanager不能正常启动的重大事故
qq_36481693的博客
09-12 509
hadoop 3.3.6 yarn主备不能正常切换问题发现与解决方案
YARN源码剖析：RM启动过程
派大星的技术人生
03-18 552
org.apache.hadoop.yarn.server.resourcemanager.ResourceManager类main()分析 public static void main(String argv[]) { //为主线程注册一个UncaughtException处理器，设置在线程因未捕获异常而突 //然终止时调用的默认处理程序 Thread.setDefau...
基于Zookeeper的ResourceManager-HA配置
热门推荐
pengjunlee的博客
08-15 4万+
前言 在YARN中，Resource Manager（RM，资源管理器）负责整个系统的资源管理和调度，在2.4版本以前，它一直是整个YARN集群的单点故障。新的ResourceManager HA通过冗余一个Resource Manager形成一种Active/Standby的架构来避免ResourceManager的单点故障。             在ResourceManager ...
hadoop2 resourcemanager 主备切换
senvil的专栏
10-05 6448
Hadoop主备查询和切换 （1）主备查询 hdfs haadmin -getServiceState nn1 yarn rmadmin -getServiceState rm1     （2）主备切换 在Hadoop的各种HA中，有个隐藏属性是很多人不知道的，就是强制切换，一般来说，我们通过命令行切换HA，需要去运行 hdfs haadmin -transitionToActive/
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
类似的，YARN HA使用相同的原理，通过Zookeeper存储ResourceManager的状态并实现自动故障转移。Active ResourceManager将信息写入共享存储，Standby ResourceManager读取共享存储以保持同步。ZKFailoverController...
Hadoop技术ResourceManager架构共8页
11-21
Hadoop为了保证服务的高可用性，提供了ResourceManager的HA方案，通过两个活动的RM实例进行主备切换，确保即使一个RM失效，系统仍能正常运行。 7. 调度器： RM中的调度器负责资源分配策略，如Fair Scheduler或...
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载）
06-07
Flink的Runtime部分会讲解JobManager、TaskManager、Dispatcher和ResourceManager的角色和实现，同时也包括高可用服务的配置，如Flink on Kubernetes和Zookeeper的HA方案。在集群部署模式方面，会讨论Yarn、...
配hadoopHA最怕就是配置文件错了
04-24
在这里，我们需要配置`yarn.resourcemanager.ha.enabled`为true，并设定`yarn.resourcemanager.cluster-id`和`yarn.resourcemanager.ha.rm-ids`，分别表示集群ID和RM节点ID列表。 3. **core-site.xml** - 在这个...
4、hadoop 多节点部署和测试(HA_HDFS)
08-09
8. **YARN配置**：在多节点部署中，YARN的配置同样重要，需要在`yarn-site.xml`中设定RM（Resource Manager）的HA模式，可能包括配置两个ResourceManager实例和Zookeeper集群的详细信息。 9. **测试YARN HA**：与...
CDH6.3.2中yarn的resourceManager主备重启故障
weixin_42247202的博客
02-20 801
CDH6.3..2 yarn故障主备节点启动故障
Hadoop-Yarn-ResourceManagerHA
lu070828的博客
02-11 2035
在Hadoop2.4之前，ResourceManager是YARN集群中的单点故障ResourceManager HA是通过 Active/Standby 体系结构实现的，在任何时候其中一个RM都是活动的，并且一个或多个RM处于备用模式，等待在活动发生任何事情时接管。1、判断配置文件中是否配置了HA开启2、如果开启了HA，开始配置并设置启动必要参数3、根据配置文件添加选举人4、获取ZooKeeper Curator管理器，创建并启动5、连接到ZooKeeper集合6、获取客户端框架并启动。
Yarn ResourceManager HA 故障转移问题定位
anguoan的博客
01-09 968
Yarn ResourceManager HA 故障转移问题定位
zk session expire会引起HA模式的rm一直处于standby吗
hncscwc的博客
09-03 713
【概述】最近连续在多个环境中遇到了同一个问题：在HA模式下，两个resourcemanager均为standby，并且持续没有选举出新的leader。经过一番分析，并对照源码梳理问题出现前后的逻辑流程，最后发现是因为zk会话过期（session expire）引起的问题，本文就复盘总结下。【RM的正常选举流程】在很早之前的文章中，介绍过hadoop里namenode的HA机制（戳这里），RM的选举...
zookerper的应用之一：ResourceManager HA
qq_46345319的博客
03-01 460
注意：启动时出现org.apache.hadoop.yarn.server.resourcemanager.recovery .ZKRMStateStore not found的错误，请看：https://editor.csdn.net/md/?对于slave1子节点yarn.resourcemanager.ha.id的参数需要改成rm2，对于其他节点就直接删除该配置即可。关闭master的ResourceManager，浏览器在http://master:8088/会显示无法访问该网页。
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
最新发布
jiang0615csdn的博客
07-11 128
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
46. 简述hadoop ha原理
06-10
Hadoop HA(Hadoop High Availability)是指Hadoop集群的高可用性，主要通过HDFS和YARN等组件来实现。 HDFS的高可用性：HDFS的高可用性主要是通过NameNode的HA来实现，即在HDFS集群中同时运行多个NameNode，其中一个为Active状态，其余为Standby状态。Active状态的NameNode负责处理客户端的读写请求，同时将元数据信息同步给所有的Standby节点。当Active节点发生故障时，Standby节点会自动接管NameNode的角色，成为Active节点，继续处理客户端的请求。 YARN的高可用性：YARN的高可用性主要是通过ResourceManager的HA来实现，即在YARN集群中同时运行多个ResourceManager，其中一个为Active状态，其余为Standby状态。Active状态的ResourceManager负责管理集群中所有的资源，并将资源分配给应用程序进行使用。当Active节点发生故障时，Standby节点会自动接管ResourceManager的角色，成为Active节点，继续管理资源。 在Hadoop HA中，还需要使用ZooKeeper来协调和管理HA过程中的状态信息，包括NameNode和ResourceManager的状态信息等。通过ZooKeeper，可以实现HA过程中的状态同步和故障转移等功能，从而保证Hadoop集群的高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王羲之的之

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值