错误描述
Hive sql执行代码时报错:
Diagnostic Messages for this Task:
Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usage: 4.2 GB of 4 GB physical memory used; 5.0 GB of 16.8 GB virtual memory used. Killing container.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
Hive 任务执行时设置的参数
查看关于 container 内存的配置:
hive (default)> SET mapreduce.map.memory.mb;
mapreduce.map.memory.mb=4096
hive (default)> SET mapreduce.reduce.memory.mb;
mapreduce.reduce.memory.mb=4096
hive (default)> SET yarn.nodemanager.vmem-pmem-ratio;
yarn.nodemanager.vmem-pmem-ratio=4.2
注:
yarn.nodemanager.vmem-pmem-ratio: 虚拟内存率,默认2.1
结论
单个map 和 reduce 分配物理内存 4G; 虚拟内存限制 4 * 4.2 = 16.8G , 所以从上面的报错信息来看,是由于单个 task处理的数据量超过物理内存 4G 限制导致的,所以设置mapreduce.map.memory.mb = 8092 或者 mapreduce.reduce.memory.mb = 8092 即可解决该问题。
单纯个人记录和分享, 希望得到支持和鼓励。
如果对您有帮助,可以点赞评论鼓励一下!
如果有更优的的建议或方法,可以在评论区留下见解!