解决yarn上的MapReduce作业失败问题container XXXX is running beyond physical memory limits

最新推荐文章于 2023-09-03 17:14:37 发布

宝罗Paul

最新推荐文章于 2023-09-03 17:14:37 发布

阅读量2.1k

点赞数 2

分类专栏：大数据文章标签： yarn

本文链接：https://blog.csdn.net/qq_31598113/article/details/82387952

版权

本文分析了YARN上MapReduce作业因物理内存限制失败的问题，并提供了详细的解决方案。通过调整mapreduce.map.memory.mb和mapreduce.reduce.memory.mb设置增大物理内存，同时调整mapreduce.map.java.opts和mapreduce.reduce.java.opts增大JVM堆内存，以此解决作业失败的问题。

摘要由CSDN通过智能技术生成

【问题】
今天突然发现有多个报表作业失败，涉及到查询有关报活的表。联想到最近几天有ETL同学的作业从老集群迁移到这个新集群上运行，推测可能是资源不够用导致的作业失败。
错误日志摘要：

Container [pid=31300,containerID=container_e80_1535989582384_2041_01_000210] is running beyond physical memory limits.
Current usage: 2.2 GB of 2 GB physical memory used; 4.0 GB of 4.2 GB virtual memory used. Killing container.

【日志解读】
running beyond physical memory limits 意思是容器运行时超出了物理内存限制。

【问题分析】
Cloudera的有关介绍：
The setting mapreduce.map.memory.mb will set the physical memory size of the container running the mapper (mapreduce.reduce.memory.mb wi