解决Hive的beyond the 'VIRTUAL' memory limit

1. 错误

在进行hive对任务的mapred过程的时候，时常出现如下的错误：
[2019-09-30 03:18:56.709]Container [pid=11578,containerID=container_1569779921172_0010_01_000005] is running 261372416B beyond the ‘VIRTUAL’ memory limit. Current usage: 106.1 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1569779921172_0010_01_000005 :

2. 产生原因

错误产生原因是因为从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了

3. 解决办法

修改mapred-site.xml文件：添加以下配置

<property>
　　<name>mapreduce.map.memory.mb</name>
　　<value>1536</value>
</property>
<property>
　　<name>mapreduce.map.java.opts</name>
　　<value>-Xmx1024M</value>
</property>
<property>
　　<name>mapreduce.reduce.memory.mb</name>
　　<value>3072</value>
</property>
<property>
　　<name>mapreduce.reduce.java.opts</name>
　　<value>-Xmx2560M</value>
</property>

重启集群服务即可解决。

4. 小结

这个问题经历了一整天，只要有计算任务出现就会有这个问题，一旦任务过大，基本就会报错，开始在百度上搜索了很多答案，部分答案对这个问题的出现的标还是能够抗一抗，后面做一个计算数据的时候，发现数据集有些大，本质的问题就漏出来了。最后参照上述的配置解决了。加油！

5. 参考链接

1、Container is running beyond memory limits
2、【hadoop】 running beyond virtual memory错误原因及解决办法