hive-05-Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

最新推荐文章于 2024-03-26 15:48:39 发布

九师兄

最新推荐文章于 2024-03-26 15:48:39 发布

阅读量1.1w

点赞数

分类专栏：大数据-hive 文章标签： hive code-3 hive-ql FAILED Execution

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78593267

版权

大数据-hive 专栏收录该内容

36 篇文章 462 订阅 ¥9.90 ¥99.00

订阅专栏

在执行涉及3千万与3亿数据量表的连接查询时，Hive返回了Execution Error，错误代码为3。通过设置`hive.mapjoin.localtask.max.memory.usage=0.99`来增加本地任务内存使用比例，并考虑关闭自动MapJoin功能(`hive.auto.convert.join=false`)以解决问题，但需注意关闭可能导致任务数增加，影响性能。

摘要由CSDN通过智能技术生成

在这里插入图片描述

hive命令行里执行了一句话：

select * from person  join zhanghao   on person.zjhm = zhanghao.zjhm limit 100 ;

就是两个表做连接查询，数据量大小一个是3千万，一个是3亿
结果报错

hive> select * from person  join zhanghao   on person.zjhm = zhanghao.zjhm limit 100 ;  
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20171121152644_c3525e56-ea74-474f-8d14-c1d18f3b3f81
Total jobs = 1
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hzjs/apac

了解本专栏