Hive SQL任务执行报错 (Container killed on request. Exit code is 143)

错误描述

Hive sql执行代码时报错：

Diagnostic Messages for this Task:
Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usage: 4.2 GB of 4 GB physical memory used; 5.0 GB of 16.8 GB virtual memory used. Killing container.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

Hive 任务执行时设置的参数

查看关于 container 内存的配置:

hive (default)> SET mapreduce.map.memory.mb;
mapreduce.map.memory.mb=4096
hive (default)> SET mapreduce.reduce.memory.mb;
mapreduce.reduce.memory.mb=4096
hive (default)> SET yarn.nodemanager.vmem-pmem-ratio;
yarn.nodemanager.vmem-pmem-ratio=4.2

注:

yarn.nodemanager.vmem-pmem-ratio: 虚拟内存率，默认2.1

结论
        单个map 和 reduce 分配物理内存 4G; 虚拟内存限制 4 * 4.2 = 16.8G ， 所以从上面的报错信息来看，是由于单个 task处理的数据量超过物理内存 4G 限制导致的，所以设置mapreduce.map.memory.mb = 8092 或者 mapreduce.reduce.memory.mb = 8092 即可解决该问题。

---

单纯个人记录和分享， 希望得到支持和鼓励。

如果对您有帮助，可以点赞评论鼓励一下！

如果有更优的的建议或方法，可以在评论区留下见解！