重启yarn导致rm都为standby分析

最新推荐文章于 2024-01-02 18:16:33 发布
最新推荐文章于 2024-01-02 18:16:33 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： Yarn 文章标签： YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013176920/article/details/120309753
版权

1、问题现象

调整yarn参数配置后，重启两个rm服务，重启后rm状态都为standby

2、问题分析

查两个rm日志都显示如下 

两点错误信息，一个是都为standby状态，一个是很多的application任务失败

还有zk日志中会一直刷连接zk问题

3、问题解决

根据日志可以考虑是因为application任务加载失败问题

进入zookeeper控制台，找到保存yarn任务的地方，删除yarn任务信息

ls /rmstore/ZKRMStateRoot/RMAppRoot

不为空则使用该命令rmr /rmstore/ZKRMStateRoot/RMAppRoot/* 删除目录文件

重启yarn后，rm状态正常

可参考文章链接：

最低0.47元/天 解锁文章
duochiyikou
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop集群启动yarn之后查看resourcemanager状态出现两个standby、nodemanager启动一段时间自动关闭、连接拒绝情况解决办法
lxy_1204的博客
12-19 9057
hadoop集群启动yarn之后查看resourcemanager状态出现两个standby、nodemanager启动一段时间自动关闭、连接拒绝情况解决办法 问题描述： 1. 查看RM(resourcemanager)状态bin/yarn rmadmin -getServiceState rm1、bin/yarn rmadmin -getServiceState rm2----出现都为sta...
Yarn框架代码详细分析V0.5
08-15
Hadoop的2.0版本的yarn的框架介绍啊 Hadoop yarnYARN 本身框架的优势是扩展性与支持多计算模型。对于扩展性目前主要体现在计算节点规模上，以前 JobTracker-TaskTracker 模型下最多大约在 5000 台机器左右，对于 ...
hadoop HA高可用搭建 yarn 两个ResourceManager状态都为standb
java_boss_的博客
08-17 1538
hadoop HA 高可用 yarn两个ResourceManager状态都为standb
用hive执行select查询，使用mapreduce离线查询就一直卡在这里，原来是yarn出了问题，两个节点都是standby！【已解决】
一个bug修一年的博客
01-23 887
求高人指点！！！
两个resourcemanager都处于standby，zkfc无法切换resourcemanager
qq_23280769的专栏
10-07 5178
该问题是对yarn-site.xml文件里的内存分配调整造成的， 当 强制变换yarn-resourcemanager为active报错 yarn rmadmin -transitionToActive  --forcemanual  rm1 You have specified the forcemanual flag. This flag is dangerous, as it c
关于hadoop集群全是standby问题
weixin_40552313的博客
08-26 559
Hadoop集群standby问题
获得当前 RM 的 active 和 standby 状态
m0_67402564的博客
08-30 351
说明： 为了更加通俗的说明，笔者将两台运行 resourcemanager 进程的主机名抽象为 RM1 和 RM2，笔者更倾向 RM1 上的运行的是 active 状态的 resourcemanager 进程，RM2 上的运行的是 standby 状态的 resourcemanager 进程，而实际操作中，master5 就是这个 RM1 ，master52 就是这个 RM2。抽象主机名实际操作主机名初始状态理想稳定状态ha-idRM1master5activeactiverm1。...
分析yarn 资源调度的小demo
03-09
分析yarn 资源调度的小demo,里面提供了几个接口，我们可以通过api从官方抓取applications 的信息，然后根据返回的json或者xml 放入到resource文件夹内，然后启动服务有一个http 的外部接口，调用该接口即可以产生相...
storm-yarn结合pig实现广告点击量分析
01-26
在大数据处理领域，Storm、YARN和Pig都是至关重要的工具。Storm用于实时数据流处理，YARN作为Hadoop的资源管理系统，而Pig则提供了一种高级数据处理语言，简化了大规模数据集的分析。这里我们将深入探讨如何将这三个...
yarn 前端打包工具指定配置文件
08-10
在工作区中，你可以为每个子项目定义独立的配置文件，并通过 `Yarn` 自动管理它们的依赖和构建过程。 总之，`Yarn` 允许开发者灵活地指定前端打包工具的配置文件，以适应不同的项目需求。通过环境变量或命令行参数...
【裂开系列】Hadoop集群异常：两个NameNode都处于Standby状态
weixin_43580118的博客
12-17 1465
Namenode的standby问题处理及Zookeeper数据恢复
Yarn高可用架构
龙飞的博客
07-22 3031
Yarn高可用架构重温 解决NameNode单点故障问题 ​ ResoueceManager：负责整个集群的资源统筹和管理（只有一个active状态，另外一个为standby状态，active的挂掉之后，standby切换为active，之后active挂掉的节点重新加入集群会处于standby） ​ NameNode：一个中心服务器，负责管理文件系统的namespace以及客户端对文件的访问。NameNode执行文件系统的namespace操作，比如打开、关闭、重命名目录或文件，同时它还确定
Zookeeper常用操作命令
qq_42264264的博客
05-23 928
在zkEnv.sh 将下面的WARN手动改为INFO export ZOO_LOG4J_PROP=WARN,ROLLINGFILE。[-s] [-e]：-s 和 -e 都是可选的，-s 代表顺序节点， -e 代表临时节点，注意其中 -s 和 -e。在log4j.properties中加入 zookeeper.log.threshold INFO。zookeeper.root.logger INFO,ROLLINGFILE 重启zk即可。可以同时使用的，并且临时节点不能再创建子节点。
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 995
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
全网最详细的Hadoop HA集群启动后，两个namenode都是standby的解决办法（图文详解）...
weixin_34293246的博客
06-16 1153
    　　不多说，直接上干货！                     解决办法 　　因为，如下，我的Hadoop HA集群。         1、首先在hdfs-site.xml中添加下面的参数，该参数的值默认为false：   <property> <name>dfs.ha...
Hadoop集群异常：两个NameNode全部为StandBy状态
天之角的博客
08-03 1361
之前的集群状态一直是很好用，可能中间忙于其他的事情，有些文件失效了吧，这次运行的时候，出现了问题，那就是两个NameNode全部是StandBy的状态，这种问题存在的原因大部分都是因为Zookeeper的zkfc进程未启动成功，当然即使你启动了Zookepper进程也是没用的，因为此时只要ZKFC进程未启动的话，那么，HDFS就没办法与Zookeeper之间建立沟通的桥梁。ZKFC是ZooKeeper中用于自动故障转移的组件，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZK
【运维】yarn高可用配置详解
最新发布
hiliang521的博客
01-02 1305
>本文主要描述了： >1. yarn HA架构细节：active/standby、故障转移的方式、故障转移客户端 > 2. 怎么恢复之前提交的任务 > 3. 怎么部署配置YARN HA > 4. 手动切换主备
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值