org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask - I/O error in redirector thread.

执行hive报错信息如下所示:

124637 [433e5410-af89-4061-bf3c-09c912efc845 main-LocalTask-MAPREDLOCAL-stderr] WARN  org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask  - I/O error in redirector thread.
java.io.IOException: Stream closed
at java.io.BufferedInputStream.getBufIfOpen(BufferedInputStream.java:170)
at java.io.BufferedInputStream.read(BufferedInputStream.java:336)
at sun.nio.cs.StreamDecoder.readBytes(StreamDecoder.java:284)
at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:326)
at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)
at java.io.InputStreamReader.read(InputStreamReader.java:184)
at java.io.BufferedReader.fill(BufferedReader.java:161)
at java.io.BufferedReader.readLine(BufferedReader.java:324)
at java.io.BufferedReader.readLine(BufferedReader.java:389)
at org.apache.hadoop.hive.common.log.LogRedirector.run(LogRedirector.java:64)
at java.lang.Thread.run(Thread.java:750)

博主在百度上面并没找到相同的bug,但是经过网络上面多篇文章的分析最终找到了解决的办法,但是并没有找到这个bug发生的根本原因。

#hive默认是开启mapjoin优化的,我的解法就是将这个优化给关闭了。
#在执行hql之前先执行以下语句关闭mapjoin
set hive.auto.convert.join = false;
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值