hive MapJoin 异常 ： return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

最新推荐文章于 2023-12-18 16:25:28 发布
最新推荐文章于 2023-12-18 16:25:28 发布
阅读量8.1k 收藏 15
点赞数 5
分类专栏： # Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/81676046
版权
在执行Hive SQL时遇到MapJoin内存溢出问题，具体表现为'返回代码3来自org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask'。错误原因在于Map端Join操作导致内存不足。通过调整参数如`hive.mapjoin.smalltable.filesize`到0.999，并参考相关博客文章，成功解决了问题并进行了Hive优化。
摘要由CSDN通过智能技术生成

分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！

点击浏览教程

今天写了一个hive sql，A表往B表插入数据，如果公共字段id相同，则不插入，即不存在则插入，否则不插入，这样一个sql，可是执行时报了内存异常，

具体信息是：

2018-08-14 13:45:17	Starting to launch local task to process map join;	maximum memory = 3121545216
2018
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据技术派
关注
  • 5
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
因mapjoin加载内存溢出而导致return code 3
Klingx的博客
10-20 443
可以看到在执行mapjoin的时候出现了内存报错，由于最大内存值为5172101120，而进度55.2%的时候已经使用了2857332576，由于2857332576/0.552 = 5176327130 > 5172101120，所以报错return code 3。例行Hive作业报错。
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
可乐
09-23 1235
报错信息 [2020-09-23 19:26:35] hive:Execution log at: /tmp/mqq/mqq_20200923191542_f05d782a-27c8-4e09-a6e2-16fe910f476a.log [2020-09-23 19:26:35] hive:2020-09-23 19:26:35 Starting to launch local task to process map join; maximum memory = 10540810240 [2020-09-2
hive计算，报错FAILED: return code 3 fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
qq_40202995的博客
03-07 1265
hive计算，报错FAILED: return code 3 fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Appreciate(欣赏)
12-18 280
该值不能超出yarn.scheduler.maximum-allocation-mb和yarn.scheduler.minimum-allocation-mb规定的范围。此次计算所需的节点内存超出配置的内存值。单个Map Task申请的container容器内存大小，其默认值为1024。使用hive进行map join时， 节点内存不够就会报该类型错误。
Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
热门推荐
Tate的博客
11-10 1万+
Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask1、集群环境2、错误由来3、错误原因4、错误分析5、解决办法 1、集群环境 CDH集群，hive的引擎是mr。 2、错误由来 今天在测试环境的集群里跑hive任务，报错Error while processing statement: FAILE
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile
最新发布
qq_43688472的博客
12-18 1985
还有一些其他可能的原因，例如内存不足、Hive配置参数等。可以尝试调整Hive on Spark的相关配置参数，例如mapred.map.child.java.opts和mapred.reduce.child.java.opts，以及hive.auto.convert.join等参数，来解决内存不足的问题。最后，建议查看Spark任务的详细日志，以获取更多关于作业失败的具体原因。这可能是由于多种原因导致的，例如内存不足、JSON数据格式错误、缺少JSON Serde等。
hive-05-Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
九师兄
11-21 1万+
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
Carl_wang3333333的博客
09-26 4204
hive执行入仓脚本报如下error：` return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask` 如下四个设置均无果 set hive.auto.convert.join = false; set hive.ignore.mapjoin.hint = false; set hive.exec....
return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
ouzili的博客
01-29 1778
在hive on spark下跑任务报错
hive执行sql报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLoca
sanjiang521的博客
01-27 836
hive执行sql报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 解决措施： hive> set hive.auto.convert.join=false;关闭自动mapjoin
return code 2 from org.apache.hadoop.hive.ql.exec.mr.mapredlocaltask
04-10
这个问题通常是由于Hive查询引擎在执行任务时遇到了错误而导致的。“将返回2的错误代码”可能意味着一些未知的问题在Hive查询中出现，如输入数据格式的问题，数据类型不匹配，任务超时等。具体原因需要查看Hive日志文件以获取更多详细信息以进行排除。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值