PipeMapRed.waitOutputThreads(): subprocess failed with code X 报错的解决方法

使用python写MapReduce程序在执行过程中出现了如下报错,几乎全部是由python脚本的问题造成的。遇到这种情况,解决方法可能会有很多,我提供一种自己一直使用的方法。

具体方法:通过拉取MapReduce程序的执行日志,拖取日志的命令是:yarn  logs   -applicationId   application_1519803790630_21764 > excuse.log,其中application_1519803790630_21764的名称根据自己的job_id或者attempt_1519803790630_21841_m_002107_0中均可以得到我们的任务id。日志拉取下来以后,我们直接定位python脚本的错误位置,可以在vim命令模式下输入  /Traceback 直接可以定位到错误所在位置,然后对自己的python程序进行更改,再次运行查看运行结果。

这种报错的一般情况是由异常数据在写程序时没有完全考虑到,解决方法一般是加上try,except进行异常处理,仅供参考,欢迎交流指正~~ 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值