使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

最新推荐文章于 2024-09-23 17:07:53 发布
最新推荐文章于 2024-09-23 17:07:53 发布
阅读量3k 收藏 3
点赞数
分类专栏： Bug集锦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIANGFANGWEI/article/details/119063764
版权
在执行Hive的join操作时遇到返回码2的错误，特别是在处理7月1日数据时。分析认为可能是由于数据分布不均导致的。尝试了通过mapjoin和调整reduceJoin阈值的方法来解决问题。
摘要由CSDN通过智能技术生成
1.情况
  • 两表join 其他时间数据正常插入。唯独插入7月1日数据时 , 报错:
    • join 语句
insert overwrite table A
partition (log_date= '20210701')
select a.id,a.name,b.age from employees e left join b on a.id=b
最低0.47元/天 解锁文章
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_37647812的博客
03-26 2378
hive数据迁移过程中遇到的问题和解决方法
Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
09-22 1033
Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析
xiaohu21的博客
09-04 4万+
Hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析 1. 背景 使用hive过程中，遇到问题有时候信息不是很足够，这时候就需要去想办法查看错误信息。而这类服务器框架的错误信息一般都存放在日志中 hive的日志不设置的话，默认存放在/tmp下当前用户所在目录，本文演示是root用户，所以文件存放在tmp文件夹下的root目录下/tmp/root 已经按照日期和时间进行存储，查看最
hive报错return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
一个技术迷的博客
01-04 1895
场景：计算一年中每一天的数据，每一天的取值是前一年或者半年的平均值，所以我有两张临时表，第一张存放主体的一年中每一天的数据，第二张存放主体近两年的每一天对应的数据，第一张表左连接第二张表，这样子进行窗口函数计算即可。 select h1.*,h3.volume,h3.vwap, avg(h3.turnoverval)over(PARTITION by h1.TRADINGITEMID order by h1.natualday asc rows BETWEEN 364 PRECEDING and
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
m0_74756715的博客
11-04 9166
运行Tez时检查到用过多内存而被NodeManager杀死进程问题 设置hive的执行引擎
hive -- return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
kismet
11-20 3559
异常： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) 查看日志信息： 原因，没有开启Metastore， 解决方法：开启Metastore，...
hive问题-return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
erainm
09-23 9855
执行hive sql时遇到问题： FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个其实一般是个hive内部错误，处理这个问题就需要找日志了； 找日志 hive.log(比较简略) hive.log ===> 缺省情况下 /tmp/root/hive.log (不然就在你hive-site.conf配置的日志路径里) 我这里在/tmp/root目录下 去里面看了日志，没
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
weixin_56114243的博客
12-15 7844
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
Execution Error,return code 2 from org.apache.haddop.hive.ql.exec.mr.MapRedTask解决办法
chongjiapi1753的博客
10-22 1063
insert overwrite table XX 1.建表后修改过表结构（增删字段等）后，重新加载数据时报return code2错，元数据和数据文件不匹配导致 解决办法：重建一张新表； 2.解决办法：修改表结构时加cascade 3.若排查定位是内存不足，则到资源充足的库新建...
hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
热门推荐
weixin_48874360的博客
06-28 5万+
hive报错Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
坐忘峰
08-21 3万+
环境：Hadoop2.8.0、Hive1.2.2，一共三台服务器，master是8G内存，两个slaver是4G内存（很寒酸），在Hive的命令行中执行count(*)和insert的时候总是报错，比如执行select count(*)的时候报“return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”错误。很显然这个不是...
hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 处理
limiao_haoniubi的博客
12-30 5535
我在用hive -e 跑数据的时候，表中的数据是以月份和省份分区的，有的分区跑成功有的分区跑失败了。一眼看到报的错是map内存溢出，非常郁闷。首先我想到的是map的数量不够，或者是分片出了问题。 网上说有好多原因： 1、集群时间没有同步<我们的集群是生产集群怎么可能犯这种错误>； 2、将count（*）换count（1）<这个解决办法根本就是瞎扯>; 3、设置set...
hive报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_45292079的博客
06-28 4248
初看特别高大上，实际上自己犯了个挺弱智的错误，就是字段类型判断出错，但是hive的日志报错并没有显示出来，就是一个decimal类型的字段，在判断中使用了 line1 <> '' 这样的判断，导致我耽误挺长时间的，告诫各位，一定要细心，切勿因为一点小错，造成时间浪费。 其他导致这个报错信息的原因，仅看hive的报错信息是看不出来的，要去看yarn日志上的，根据任务id去查询 ...
二百二十一、Hive——HQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
tiantang2renjian的博客
01-30 1095
Hive——HQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
HIVE报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask
最新发布
m0_56341622的博客
09-23 4452
这些方法可以根据不同的情况尝试，以解决 Hive 执行错误的问题。如果问题依然存在，建议查看 Hive 日志获取更详细的错误信息。这些方法可以根据不同的情况尝试，以解决 Hive 执行错误的问题。： 如果是因为内存溢出，可以在运行 SQL 命令前设置 MapReduce 的内存参数。： 确保插入数据的类型与目标表的列类型匹配，并且表结构是一致的。： 如果是因为分区数量太多，可以设置动态分区的相关参数。： 如果集群资源不足，可以考虑增加资源或者优化资源分配。： 如果是因为版本不兼容，建议查看兼容表确认。
CDH hive聚合操作报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
小蚯蚓的博客
07-05 6815
一、问题描述 Hive的shell命令下，执行count(*)的聚合操作，结果报错： Ended Job =job_1561339819051_0474 with errors Error during job,obtaining debugging information ... FAILED : Execution Error, return code 2 from org.apache...
Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。无法使用函数查询
maying6024的博客
03-01 169
namenode和datanode 节点时间不一致导致。使用ntp服务统一时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值