hive运行报错running beyond virtual memory错误原因及解决办法

2019独角兽企业重金招聘Python工程师标准>>>

问题：在hive中运行应用，出现了running beyond virtual memory错误。提示如下：

Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

原因：运行的Container试图使用过多的内存，而被NodeManager kill掉了。

[摘录] The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-reduce task. The NodeManager monitors the entire process tree of the task and if it eats up more memory than the maximum set in mapreduce.map.memory.mb or mapreduce.reduce.memory.mb respectively, we would expect the Nodemanager to kill the task, otherwise your task is stealing memory belonging to other containers, which you don't want.

要解决这个异常，得熟悉yarn自身的虚拟内存管理规则，在Yarn平台中，CPU，内存，磁盘都被抽象成资源来自使用，管理资源的角色主要有Yarn Resource Manager (RM) 负责总的资源调度，然后每个节点上有Nodemanager 来监听守护资源，在具体到每一个应用上是通过Application Master (AM) container来给Map或Reduce任务来分配资源，具体的属性如下： 
（1）yarn.nodemanager.resource.memory-mb 
可分配的物理内存总量，默认是8*1024MB。 
（2）yarn.nodemanager.vmem-pmem-ratio 
每单位的物理内存总量对应的虚拟内存量，默认是2.1，表示每使用1MB的物理内存，最多可以使用2.1MB的虚拟内存总量。 

第二个属性，比率的控制影响着虚拟内存的使用，当yarn计算出来的虚拟内存，比在mapred-site.xml里的mapreduce.map.memory.mb或mapreduce.reduce.memory.mb的2.1倍还要多时，就会发生上面截图中的异常，而默认的mapreduce.map.memory.mb或 
mapreduce.reduce.memory.mb得初始大小为1024M，然后根据异常中的yarn自身根据运行环境推算出来的虚拟内存来做比较，发现比1024*2.1还要大，所以就会由NodeManage守护进程kill掉AM容器，从而导致整个MR作业运行失败，现在我们只需要调大这个比率即可，避免发生这种异常。具体调大多小，可根据具体情况来设置。

 

两种解决方法：

1、上面提到的修改yarn-site.xml配置文件，可以增加yarn.nodemanager.vmem-pmem-ratio的比例，但这种修改方法需要重新启动集群才可以生效,同时要注意所有节点的resourceManager或NodeManager进程必须重启成功（我遇到过 用stop-yarn.sh重启集群然而resourceManager进程并没有stop，导致应用不生效的情况，可在stop-yarn.sh执行后用jps命令确认）； 

2、修改mapred-site.xml配置文件中这两个值，注意map和reduce的java.opts值需要小于对应的mapreduce.memory值 (value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)  。

<property>
　　<name>mapreduce.map.memory.mb</name>
　　<value>1536</value>
</property>
<property>
　　<name>mapreduce.map.java.opts</name>
　　<value>-Xmx1024M</value>
</property>
<property>
　　<name>mapreduce.reduce.memory.mb</name>
　　<value>3072</value>
</property>
<property>
　　<name>mapreduce.reduce.java.opts</name>
　　<value>-Xmx2560M</value>
</property>

 

 

 

具体Hadoop2作业的相关内存参数要如何配置，可以参考：

http://blog.chinaunix.net/uid-28311809-id-4383551.html

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/。
 

在hive命令行查看和设置相关值：

 

参考自以下链接：

http://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits

转载于:https://my.oschina.net/aibati2008/blog/839233