1204工作

hadoop reducer回滚原因分析

 

这个就要看你出现回滚是在哪个级别的reducer了。当map执行成功之后,hadoop会启动reducer
对应到整个job,会有reduce阶段,这个如果失败了肯定不可能成功的吧。

然后如果你设置了跑10个reduce,那么hadoop会把map的输出结果划分为10份,对应由10个reduce task来处理。一般来说肯定也是要10个task都成功才会判断mr成功了的。

但是10个 reduce task不一定真的只跑10个物理任务,如果slot有多,那么每个task可能有多个attempt在运行。如果只是attempt失败那么就完全没有影响了,因为每个task都只需要有一个执行成功的attempt就够了

 

原文地址:http://www.zhihu.com/question/21262860/answer/18460445

 

 

 

 

出现闪动或者报错Eclipse打不开。The Eclipse executable launcher was unable to locate its companion shared library

可能是Eclipse 版本不对或jdk没配

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值