Yarn HA(高可用)架构

最新推荐文章于 2024-07-08 17:37:23 发布
最新推荐文章于 2024-07-08 17:37:23 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 集群部署 文章标签： Yarn HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huonan_123/article/details/84588021
版权
本文介绍了Yarn的高可用性架构，包括活动和备用ResourceManager的设置，以解决单点故障问题。详细讨论了ResourceManager的角色，如处理客户端请求、监控ApplicationMaster等，以及NodeManager的职责。此外，还提到了ZooKeeper在选举Active RM中的作用，以及ZKFC和RMStateStore如何确保状态的无缝切换和作业信息的持久化。
摘要由CSDN通过智能技术生成
  • 前言

ResourceManager(RM)负责资源管理,并调度应用作业.在Hadop2.4之前RsourceManage是单点的,容易产生单点故障
HA 提供活动和备用的RM,解决了一个RM单点故障问题.

  • 架构图
    在这里插入图片描述
  • 集群概述

  1. RM :ResourceManage:r一个集群只有一个active状态的,负责整个集群的管理和调度
    1). 处理客户端请求
    2). 启动监控ApplicationMaster(AM,一个作业对应一个)
    3). 监控NM
    4). 系统资源的分配和调度

  2. NM :负责单个节点的资源管理和使用以及task运行
    1). 定期想RM汇报本节点的资源使用情况和container运行情况
    2). 接收处理RM对container的启停各种命令
    3). 单节点资源管理和任务管理

  3. ZK

    在ZooKeeper上会有一个/yarn-leader-election/yarn1的锁节点，所有的ResourceManager在启动的时候，都会去竞争写一个Lock子节点：/yarn-leader-election/yarn1/ActiveBreadCrumb，该节点是临时节点。ZooKeepr能够为我们保证最终只有一个ResourceManager能够创建成功。创建成功的那个ResourceManager就切换为Active状态，没有成功的那些ResourceManager则切换为Standby状态。

  4. ZKFC
     zkfc：是RM里面的一个线程，在H

最低0.47元/天 解锁文章
huo_火力全开
关注
专栏目录
【Yarn】系统架构&高可用
pengpengsays
08-18 573
系统架构&高可用 系统架构 Yarn在架构上是主从架构，其中Resource Manager是主节点，Node Manager是从节点。在架构部署上，Node Manager与HDFS的DataNode安装在同一节点，以便将计算任务移动到数据上。 其中主节点Resource Manager可以有热备节点，以实现集群高可用。当前主节点为Active状态，热备节点为Standby状态。 客户端Client向主节点（Resource Manager）提交作业后，Resource Manager会在Nod
【Yarn】Yarn HA 高可用集群
九师兄
01-22 570
背景ResourceManager负责资源管理和应用的调度,是YARN的核心组件,集群的主角色。在Hadoop 2. 4之前, ResourceManager是YARN群集中的SPOF ( Single Point of Failure ,单点故障)。为了解决RM的单点故障问题, YARN设计了一套Active/Standby模式的ResourceManager HA架构。架构Hadoop官方推荐方案 :基于Zookeeper集群实现YARN HA。
hadoop yarn HA 高可用架构简易集群配置
05-15 252
架构信息: 帮助文档： http://hadoop.apache.org/docs/r2.7.6/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html yarn-site.xml配置。 <!-- 开启 yarn ha -...
Yarn高可用架构
龙飞的博客
07-22 3041
Yarn高可用架构重温 解决NameNode单点故障问题 ​ ResoueceManager：负责整个集群的资源统筹和管理（只有一个active状态，另外一个为standby状态，active的挂掉之后，standby切换为active，之后active挂掉的节点重新加入集群会处于standby） ​ NameNode：一个中心服务器，负责管理文件系统的namespace以及客户端对文件的访问。NameNode执行文件系统的namespace操作，比如打开、关闭、重命名目录或文件，同时它还确定
Hadoop系列-YARN RM HA 高可用集群
happy19870612's blog
10-23 4343
三 ResourceManager HA集群 3.1修改 yarn-site.xml   3.2 yarn-site.xml分发到其他节点 scpyarn-site.xml hadoop@hadoop-cluster-02:/opt/app/hadoop-2.5.0 /etc/hadoop scpyarn-site.xml hadoop@hadoop-cluster-0
YARN新特性-ResourceManager 高可用机制
weixin_30377461的博客
01-11 485
ResourceManager 高可用机制架构 在Hadoop2.4 中添加了Active/Standby ResourceManager 的方式来解决ResourceManager 的单点故障问题。 Active ResourceManager 会将状态信息写入到ZooKeeper 集群之中，如果Active ResourceManager 挂了，那么可以将Standby Reso...
Hadoop3.2.1 HA 高可用集群的搭建（基于Zookeeper，NameNode高可用+Yarn高可用）
weixin_43311978的博客
05-14 2406
hadoop集群已安装并配置好 节点个数一般为奇数个 我这里三台机 hostname ip 启动的进程 Master 192.168.150.141 Worker1 192.168.150.142 Worker2 192.168.150.143 一、安装ZooKeeper 先只在一台机器上下载安装并配置好 zookeeper 后，再将配置好的 zookeeper 传给其他节点 1、下载ZooKeeper Apache ZooKeeper 官网：https://zookeep
架构面试-分布式存储系统HA高可用原理及应用案例实战
最新发布
program哲学
07-08 172
本文详细介绍了CountDownLatch、CyclicBarrier、Semaphore及其在分布式存储系统高可用中的应用案例
hadoop HA高可用性完全分布式集群安装
11-05
### hadoop HA高可用性完全分布式集群安装 在大数据处理领域，Hadoop作为一个开源软件框架，主要用于分布式存储和处理大规模数据集。为了提高系统的稳定性和可靠性，Hadoop提供了高可用性（High Availability，简称...
HadoopHA高可用集群配置 yarn-site.xml
07-07
HadoopHA高可用集群配置 yarn-site.xml yarn两台namenode配置不同
YARN的高可用性HA配置实战
邵奈一的博客
09-06 1160
0x00 教程内容 0x01 配置YARN 1. 备份yarn-site.xml 2. 配置HA 3. 同步到从节点 0x02 校验结果 1. 启动YARN 2. 校验配置 3. 查看ZK变化 0x03 恢复回非HA模式 0xFF 总结
【网络安全运维】yarn高可用配置详解
A1_3_9_7的博客
01-24 523
当Active发生故障或无响应时，另一个RM被自动选为Active，然后接管。客户端，ApplicationMaster（AM）和NodeManager（NM）尝试以循环方式连接到RM，直到它们到达活动RM。这里我整合并且整理成了一份【282G】的网络安全从零基础入门到进阶资料包，需要的小伙伴可以扫描下方CSDN官方合作二维码免费领取哦，无偿分享！要从一个RM到另一个RM进行故障转移，）后，RM变为active后，它会加载RM的内部状态，并尽可能地处理之前active未处理的请求。
CDH节点宕机后HDFS和YARN高可用切换演练
weixin_33022765的博客
03-14 582
CDH节点宕机后HDFS和YARN高可用切换演练 一、 背景及目标 为保障CDH集群的高可用，提升CDH运维经验，实施本次CDH主节点和主节点宕机后的高可用切换演练。 主节点和子节点组件分配如下： 模拟bjhtom-ap-bigData-flink102主节点以及bjhtom-ap-bigData-flink105子节点的宕机。 二、 内容 停止bjhtom-ap-bigData-flink105子节点所有组件 停止bjhtom-ap-bigData-flink102 主节点所有组件（包括CDH管理组
YARN 的高可用设计有哪些？
Shockang的博客
06-21 861
YARN 提供了恢复机制，这使得 YARN 在服务出现故障或人工重启时，不会对正在运行的应用程序产生任何影响。本文将从 ResourceManager HA、 ResourceManager Recovery 和 NodeManager Recovery 三个方面讨论 YARN 高可用方面的设计。ResourceManager 负责集群中资源的调度和应用程序的管理，是 YARN 最核心的组件。由于 Y...
HDFS&Yarn HA架构设计
老徐的博客
08-24 208
1 hdfs HA 架构 图梳理 2 yarn HA 架构图梳理 3总结 hdfs yarn ha 架构区别 区别是ZKFC一个是进程一个是线程 ，一个是一个RMstatestore 一个是JN群集 4 hdfs dfs  - ls 结果 是哪个文件 三个操作不一样  思考。 5双写的理解 ？双写，比如hdfs 做HA（高可靠）的时候，有nn 不仅会读DN（acti...
Yarn HA高可用
dingqiu6346的博客
09-14 139
Yarn作为资源管理系统，是上层计算框架（如MapReduce,Spark）的基础。在Hadoop 2.4.0版本之前，Yarn存在单点故障（即ResourceManager存在单点故障），一旦发生故障，恢复时间较长，且会导致正在运行的Application丢失，影响范围较大。从Hadoop 2.4.0版本开始，Yarn实现了ResourceManager HA，在发生故障时...
hadoop集群启动yarn时出现的问题和解决方法
qianyulin
06-01 5800
1、问题 使用start-all.sh 启动hdfs和yarn集群 ，启动后发现resourcemanager没启动，查看日志报错： 2020-06-01 09:42:21,280 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.AdminService failed in state INITED; cause: org.apache.had
yarn高可用
qq_45275284的博客
03-25 167
1.在Zookeeper上会有一个/yarn-leader-election/yarn1的锁节点，所有的ResourceManager在启动的时候，会去竞争写一个Lock子节点：/yarn-leader-election/yarn1/ActiveBreadCrumb，该节点是临时节点。创建成功的ResourceManager切换为Activate，没有成功的为Standby状态。重新构建作业的内存信息，启动内部服务，开始接受NM的心跳信息，构建集群的资源信息，并接受客户端的作业请求。
Hadoop高可用：ZooKeeper实现HDFS与YARN HA详细教程
HDFS高可用架构依赖于Active和Standby两种状态的NameNode，以及一个ZKFailoverController和Zookeeper集群。Active NameNode是当前提供服务的NameNode，而Standby NameNode则处于待命状态。一旦Active NameNode出现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值