hadoop任务卡死

最新推荐文章于 2024-07-25 11:28:54 发布

kequanjade

最新推荐文章于 2024-07-25 11:28:54 发布

阅读量8.6k

点赞数

分类专栏： hadoop 文章标签： hadoop mapreduce

本文链接：https://blog.csdn.net/keyuquan/article/details/73379922

版权

当Hadoop运行MapReduce作业时遇到卡死情况，可能是ResourceManager或NodeManager配置错误，或者是内存不足导致。检查`yarn-site.xml`和`slaves`配置文件，确保配置正确。内存不足时，磁盘空间利用率过高也可能引起问题，可以通过调整`yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage`参数或清理磁盘空间。如果条件允许，可以考虑扩大虚拟机磁盘容量。

摘要由CSDN通过智能技术生成

hadoop 运行mapreduce的时候会卡死在 mapreduce.Job:Running job: job_1477030467429_0002 位置不动

思路一：分析：mapreduce卡死不动，原可能是 resourcemanager 或者 nodemanager 配置出错

检查yarn-site.xml（yarn.resourcemanager.hostname：配置了resourcemanager 的位置）或者 slaves （配置了nodemanager 位置）配置文件

可能出现的错误：

yarn.resourcemanager.hostname ：配置出错；

slaves 没有加入namenode节点；

hosts 配置出错

思路二：运行内存不足的问题：

现象：Memory Total 为 0；

日志：

2016-10-29 10:28:30,433 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir error, used space above threshold of 90.0%, removing from list of valid directories

2016-10-29 10:28:30,433 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/cdh/hadoop-2.5.0-cdh5.3.6/logs/userlogs error, used space above threshold of 90.0%, removing from list of valid directories

2016-10-29 10:28:30,433 INFO org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Disk(s) failed: 1/1 local-dirs are bad: /opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir; 1/1 log-dirs are bad