hive job oom问题

    错误信息如下：Container [pid=26845,containerID=container_1419056923480_0212_02_000001] is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing container.

    分析：刚开始以为是内存不够，所以不断的调大虚拟内存，问题是解决了，但是实际运行的时候还是会偶尔报这个错误。

    问题的原因在于：

set yarn.nodemanager.resource.memory-mb=2048;

set yarn.app.mapreduce.am.command-opts=-Xmx2048m;

    这两个参数配成了相等，而实际上第一个参数为节点能从yarn上获得的所有内存，第二个参数为其上运行的jvm内存，除了jvm之外还需要一些空间来让整体work起来。当jvm占用内存太大的时候就有可能大于yarn.nodemanager.resource.memory-mb配置的临界点，被Container kill掉。推荐的比例是jvm为实际内存的0.8

    map和reduce的内存配置同样有这个问题，示例配置：

mapred-site.xml
set mapreduce.map.memory.mb=1024;
set mapreduce.map.java.opts=-Xmx819m;
set mapreduce.reduce.memory.mb=2048;
set mapreduce.reduce.java.opts=-Xmx1638m;

yarn-site.xml
set yarn.nodemanager.resource.memory-mb=2048;
set yarn.app.mapreduce.am.command-opts=-Xmx1638m;

这篇文章具体说明了问题的原因和推荐的配置

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html?textToSearch=queue#