(hue)hive报错: FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.Mapred.

当Hive在执行多表JOIN,特别是涉及大数据量时,如果内存不足,可能会触发此错误。Hive的map端优化策略尝试将小表加载到内存中以提高效率。由于内存限制,无法容纳小表数据导致失败。解决方法是关闭mapJoin优化,设置hive.auto.convert.join为false。
摘要由CSDN通过智能技术生成

hive报错

 FAILED: Execution Error, return code 137 from 
 org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
 

在这里插入图片描述
hue报错
在这里插入图片描述
出现原因:
多表数据量多join操作时,hive会做map端优化(在小表和大表进行join时,将小表放在前边,效率会高。hive会将小表进行缓存。),要用小表join大表,把小表全部放在内存中去join,由于服务器内存不足引起的, 在进行mapJoin时候, 内存不足以放下小表中的数据
解决方案:
不让其进行mapjoin优化操作
– 关闭自动装载(尤其是对于内存比较小的机器)

set hive.auto.convert.join= false;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我也不知道怎么办了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值