Hive查询报错：FAILED:Execution Error，return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Yousacc

已于 2024-04-20 00:21:33 修改

阅读量756

点赞数 10

文章标签： hadoop hive apache

于 2024-04-19 21:52:14 首次发布

本文链接：https://blog.csdn.net/qq_20181263/article/details/137978515

版权

本文讲述了在Linux中使用beeline-ujdbc执行HiveSQL时遇到的内存溢出问题，解决方法包括修改Hive的mapred.map.child.java.opts配置以及在Hadoop的Hadoop-env.sh中增加相应内存限制。

摘要由CSDN通过智能技术生成

复现

beeline -u jdbc:hive2://linux01:10000 -n root -e "alter table tmp.user_action_log add partition(dt='${pre_day}') location '/events_log/${pre_day}'"

在Linux命令行中跑HiveSQL统计行数，每次统计出来都为0，后来发现是查询语句压根就没执行。

Hive中跑复杂SQL会导致内存溢出，查询失败，报错：FAILED:Execution Error，return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

修改hive客户端目录下hive-site.xml配置文件中对应值，如果该配置中已存在mapred.map.child.java.opts配置项，则只需要修改对应的值即可；如果该配置中没有该配置项则需要加入对应的信息，如下：

<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx2048m</value>
</property>

在Hadoop的配置文件Hadoop-env.sh中修改如下配置：

export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"

关注