MapReduce任务卡在Running Job状态的多种解决方法

最新推荐文章于 2024-05-22 08:42:12 发布

酒吧舞

最新推荐文章于 2024-05-22 08:42:12 发布

阅读量4.9k

点赞数 3

分类专栏：大数据文章标签： hadoop mapreduce yarn

本文链接：https://blog.csdn.net/weixin_41209740/article/details/111183209

版权

大数据专栏收录该内容

23 篇文章

订阅专栏

当MapReduce任务在Hadoop分布式环境中卡住时，可能是Yarn资源分配出现问题。首先，通过Hadoop日志排查错误；其次，检查yarn-site.xml配置，确保无误；如果发现Yarn前端显示节点不健康，可能是因为资源不足，可以调整yarn.nodemanager.disk-health-checker的相关配置来避免因资源检查导致的任务停滞。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

当搭建好hadoop分布式环境测试运行MapReduce程序时有时会遇到MapReduce任务卡住，shell界面停在RunningJob后不动的情况，这种时候应当如何解决呢？

在这里插入图片描述

原因分析：

正常情况下一个Job被提交上去后需要经历资源分配的过程，这往往需要数秒钟的时间，但通常不会过长，在Hadoop2.X中Yarn负责管理资源的分配和调度，那么大概率是Yarn资源分配过程遇到了毛病。

解决方案：

1、查看Hadoop详细日志

可以通过Hadoop前端web页面（一般为50070端口）查看刚才各个节点的日志文件，寻找目前的出错情况。
在这里插入图片描述

2、修改yarn-site.xml文件

既然是yarn的问题，那么很有可能是yarn-site.xml文件配置出错，仔细检查每一项配置是否多标点少标点，打错字母等等。
在这里插入图片描述
图片仅仅作为示例，根据自己配置情况进行检查。

3、检查Yarn WEB前端

我之前遇到过yarn前端出现了unhealthy node的情况
在这里插入图片描述
出现此种情况一般是由于系统资源不足导致yarn无法正常拉起来，可以看到上面的资源情况是异常的，这时候可以清理下各个结点上的空间或者更改下yarn的健康检查判定

<property>
		<name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
		<value>0.0</value>
		</property>
		<property>
		<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
		<value>100.0</value>
		</property>

通过修改上下限避免它的检查报错。