配置Tez引擎常见错误

最新推荐文章于 2022-09-29 22:53:47 发布

CarlosXu14

最新推荐文章于 2022-09-29 22:53:47 发布

阅读量827

点赞数

分类专栏： hive tez

本文链接：https://blog.csdn.net/qq_43459184/article/details/102519771

版权

本文介绍了配置Tez引擎时可能遇到的两个常见问题及其解决方案：一是tez-site.xml文件头部不能有空格；二是运行Tez时因占用过多内存导致进程被NodeManager杀死，提出了关闭虚拟内存检查或调整MapReduce任务内存配置的建议。

摘要由CSDN通过智能技术生成

1、
在这里插入图片描述
解决：配置tez-site.xml的文件中在文件头之前不能有空格
2、

运行Tez时检查到用过多内存而被NodeManager杀死进程问题：这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。有时候重新再启动一次就能用，但还是进行配置一下比较好。

方案一：或者是关掉虚拟内存检查。我们选这个，修改yarn-site.xml

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

方案二：mapred-site.xml中设置Map和Reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)

<property>
　　<name>mapreduce.map.memory.mb</name>
　　<value>1536</value>
</property>
<property>
　　<name>mapreduce.map.java.opts</name>
　　<value>-Xmx1024M</value>
</property>
<property>
　　<name>mapreduce.reduce.memory.mb</name>
　　<value>3072</value>
</property>
<property>
　　<name>mapreduce.reduce.java.opts</name>
　　<value>-Xmx2560M</value>
</property>