hadoop job 未跑满资源_mapreduce任务占满整个集群资源

最新推荐文章于 2022-11-20 14:45:20 发布

weixin_39908948

最新推荐文章于 2022-11-20 14:45:20 发布

阅读量284

点赞数

文章标签： hadoop job 未跑满资源

本文链接：https://blog.csdn.net/weixin_39908948/article/details/111735450

版权

Hadoop作业在执行时遇到内存限制问题，即使设置了yarn.nodemanager.pmem-check-enabled为true，任务仍然因超出内存限制被杀死。日志显示，任务使用了超过1GB物理内存和接近5GB虚拟内存，导致container被终止。解决方案可能涉及调整MapReduce任务的内存配置和YARN的内存管理策略。

摘要由CSDN通过智能技术生成

赞同来自:

哦，我把yarn.nodemanager.pmem-check-enabled设置为true后，再次运行任务就报错了。

您说的使用量超过limit 两倍时，才启动kill。应该指得是虚拟内存的使用超出虚拟内存的两倍，因为当物理内存不够用时，任务就会使用虚拟内内存，而一旦虚拟内存超过设置的两倍时，isOverLimit 就是true了，这样就会触发kill container的动作了。

下面是我测试的报错信息：

16/03/15 18:51:58 INFO mapreduce.Job: Task Id : attempt_1458038021988_0002_m_000000_0, Status : FAILED

Container [pid=9781,containerID=container_1458038021988_0002_01_000002] is running beyond physical memory limits. Current usage: 1.1 GB of 1 GB physical memory used; 4.9 GB of 2 GB virtual memory used. Killing container.

Dump of the process-tree for container_1458038021988_0002_01_000002 :

|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE

|- 9781 9779 9781 9781 (bash) 0 0 108646400 301 /bin/bash -c /opt/beh-6.5/core/jdk/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx4g -Djava.io.tmpdir=/opt/beh-6.5/metadata/yarn/usercache/user1/appcache/application_1458038021988_0002/container_1458038021988_0002_01_000002/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/opt/beh-6.5/logs/yarn/userlogs/application_1458038021988_0002/container_1458038021988_0002_01_000002 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA org.apache.hadoop.mapred.YarnChild 192.168.6.153 59177 attempt_1458038021988_0002_m_000000_0 2 1>/opt/beh-6.5/logs/yarn/userlogs/application_1458038021988_0002/container_1458038021988_0002_01_000002/stdout 2>/opt/beh-6.5/logs/yarn/userlogs/application_1458038021988_0002/container_1458038021988_0002_01_000002/stderr

|- 9785 9781 9781 9781 (java) 570 45 5128753