**
Hadoop3.X Container is running 244472320B beyond the ‘VIRTUAL’ memory limit. 解决方法
**
在做WordCount案例实操的时候遇到如下的问题(本地打包maven工程提交到集群测试)*
Container [pid=8331,containerID=container_1619160091528_0002_01_000006] is running 261372416B beyond the ‘VIRTUAL’ memory limit. Current usage: 108.5 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
108.5MB 是当前任务所占用的物理内存。
1GB是mapred-default.xml中mapreduce.map.memory.mb 或者 mapreduce.reduce.memory.mb 设定的值(默认情况下是1024M)如图:
2.3GB 是当前任务所占用的虚拟内存。
2.1GB是 mapreduce.map.memory.mb * yarn.nodemanager.vmem-pmem-ratio = 1* 2.1 = 2.1(或者mapreduce.reduce.memory.mb* yarn.nodemanager.vmem-pmem-ratio = 1* 2.1 = 2.1) 这里的 yarn.nodemanager.vmem-pmem-ratio在yarn-default.xml中 默认是2.1倍,如下图:
通过分析可以看出问题:分配的虚拟内存不够
继续查看问题是出在map阶段还是reduce阶段
通过查看历史服务器得知是map阶段出现问题:
!
因此 在yarn-site.xml 中将 mapreduce.map.memory.mb值设置为2048,如下图:
或者(看了很多人的帖子用这个方法可以解决,但是我不行,后来我看了一个帖子说yarn.nodemanager.vmem-pmem-ratio在程序中修改的值不能覆盖,不知道是不是这个原因,希望知道原因的大佬可以给我留言。)
在yarn-site.xml中将yarn.nodemanager.vmem-pmem-ratio的值设置为3,如图:
最后通过方法一将问题解决!!!