Hadoop集群,报java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1

跑任务先生,在Hadoop的集群,报

错误:了java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子与代码1未能
        在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
        在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:535)
        位于org.apache的org.apache.hadoop.streamed.PipeMapper.close(PipeMapper.java:130)
        org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
        。 hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
        在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:450)
        在org.apache.hadoop.mapred.MapTask.run(MapTask.java: 343)
        at org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:163)
        在java.security.AccessController.doPrivileged(Native Method)
        的javax.security.auth.Subject.doAs(Subject.java:422)
        atg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)
        at org .apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)


18/07/04 23:40:09 INFO mapreduce.Job:任务ID:attempt_1530511428429_0038_m_000001_0,状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed。 waitOutputThreads():子进程失败,代码为1
        ,org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
        位于org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
        org。 apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
        org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
        org.apache.hadoop.stream.PipeMapRunner.run(PipeMapRunner.java:34)
        org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:450)
        在org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
        在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:163)
        在java.security .AccessController.doPrivileged(本机方法)
        在javax.security.auth.Subject.doAs(Subject.java:422)
        在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)

        在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)


对于该类错误,解决办法,1 、先看看配置文件有没有错误,例如:relication


2,检查自己的map.py有没有问题,必须把代码写正确,如果不正确,也会报该类错误

3,看看自己的环境有没有问题

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值