遇到问题---hive---数据仓库---Container ... is running beyond physical memory limits

最新推荐文章于 2021-09-04 18:43:42 发布

张小凡vip

最新推荐文章于 2021-09-04 18:43:42 发布

阅读量3.7k

点赞数

分类专栏：数据仓库遇到问题解决方案集锦文章标签：遇到问题 hive running beyond physical memory

本文链接：https://blog.csdn.net/zzq900503/article/details/79426053

版权

遇到问题解决方案集锦同时被 2 个专栏收录

264 篇文章 644 订阅 ¥19.90 ¥99.00

订阅专栏

数据仓库

47 篇文章 36 订阅

订阅专栏

当运行Hive动态分区插入时遇到Container内存超出限制的问题，原因是默认内存设置不足。解决方案包括调整mapreduce和yarn的相关内存参数，如`mapreduce.reduce.memory.mb`和`yarn.scheduler.minimum-allocation-mb`等。可通过后台操作或手动修改配置文件解决，注意配置后可能需要重启服务以使设置生效。

摘要由CSDN通过智能技术生成

情况

我们跑一个hive的动态分区insert overwrite时最后报错如下:
Container [pid=39398,containerID=container_1511338430452_0073_01_009567] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 2.1 GB virtual memory used. Killing container.

完整信息:

Container [pid=39398,containerID=container_1511338430452_0073_01_009567] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 2.1 GB virtual memory used.