mapred streaming 脚本输出运行状态导致的奇怪问题

最新推荐文章于 2021-08-26 17:40:23 发布

azhao_dn

最新推荐文章于 2021-08-26 17:40:23 发布

阅读量3k

点赞数

分类专栏： mapred 问题 hadoop EasyHadoop 文章标签：脚本 redis output hadoop 集群任务

本文链接：https://blog.csdn.net/azhao_dn/article/details/7659658

版权

在调试mapred streaming脚本时遇到问题，任务在tasktracker上运行时随机失败，错误与系统资源无关。初步怀疑是自定义的redis接口包（基于redis-py）引起，但屏蔽redis代码后问题依旧。最终发现是脚本新增的向jobtracker汇报运行状态的代码导致的故障。

摘要由CSDN通过智能技术生成

今天在调试mapred streaming脚本时，发生了非常奇怪的问题：mapred脚本在被tasktracker调用后总是会随机的失败，错误信息如下：

java.lang.RuntimeException: java.lang.NullPointerException
	at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
	at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545)
	at org.apache.hadoop.streaming.PipeReducer.reduce(PipeReducer.java:95)
	at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:518)
	at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:419)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:259)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.mapred.Child.main(Child.java:253)
Caused by: java.lang.NullPointerException
	at org.apache.hadoop.streaming.PipeMapRed$MRE