解决 RMContainerAllocator: Exception while unregistering java.lang.NullPointerException问题

在hadoop2.5.2环境中,执行一个mr任务,计算结果正确输出到hdfs里面了,但是job异常退出了,

报错信息如下:


大概意思就是有任务失败了吧。

然后查看各节点日志,发现有一个节点报错了,报错信息如下:

 
ERROR [Thread-856] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Exception while unregistering 
java.lang.NullPointerException
    at org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil.getApplicationWebURLOnJHSWithoutScheme(MRWebAppUtil.java:135)
    at org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil.getApplicationWebURLOnJHSWithScheme(MRWebAppUtil.java:150)
    at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.doUnregistration(RMCommunicator.java:212)
    at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.unregister(RMCommunicator.java:182)
    at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStop(RMCommunicator.java:255)

于是开始gg,发现hadoop官网上有相关报错issue:

https://issues.apache.org/jira/browse/MAPREDUCE-6213

这个bug的原因是这样描述的:

When DNS failed for a time, all MapReduce jobs which completed during that time got failed.

没理解,DNS不通导致的吗?为什么我3个节点就其中一个必然失败,其他的两个节点不会失败?

暂时不管了,下面有解决方案:


需要改代码,org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil 

这个类在hadoop-mapreduce-client-common-2.5.2.jar包中,直接解压这个jar包,获得MRWebAppUtil.class文件,

反编译后修改相j关代码重新生成新的MRWebAppUtil.class文件,覆盖原文件。

执行jar cvf hadoop-mapreduce-client-common-2.5.2.jar * 生成新的jar包。

替换到hadoop中/share/hadoop/mapreduce目录。

重启mapreduce,问题解决了。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值