部署Tez后Hive无法运行

最新推荐文章于 2024-09-17 23:43:16 发布

Albert_Fang

最新推荐文章于 2024-09-17 23:43:16 发布

阅读量1k

点赞数

分类专栏：报错解决文章标签： hive

本文链接：https://blog.csdn.net/Albert_Fang/article/details/105878102

版权

在CentOS 7上部署Hadoop 2.7.7、Hive 2.6.2和Tez 0.9.1后，遇到Hive SQL执行时因虚拟内存不足被Node Manager杀死的问题。尝试修改Yarn和MapReduce的内存配置并未解决问题。最终发现是Tez的内存配置缺失，通过在启动Hive时为Tez分配内存成功解决该问题。当数据量大时，可能需要调整MapReduce内存配置以避免虚拟内存超出。

摘要由CSDN通过智能技术生成

环境

系统 CentOS 7
Hadoop 2.7.7
Hive 2.6.2
Tez 0.9.1

报错

部署完Tez，修改好Hive相关配置后，发现在运行Hive Sql时，出现“虚拟内存不足，Job被Node manger Killed”

报错具体信息：

Diagnostics: Container [pid=4913,containerID=container_1585644387775_0439_02_000001] is running beyond virtual memory limits. Current usage: 310.6 MB of 1 GB physical memory used; 2.7 GB of 2.1 GB virtual memory used. Killing container.

在这里插入图片描述