hadoop-2.2.0-yarn-resourcemanager恢复

      十月份hadoop正式发布了hadoop2.2.0稳定版,让人期待的hadoop 2.0框架总算有个里程碑进展。个人最关注的还是namenode ha实现和yarn框架。为了使知识得到有效积累,特将自己的实验过程用文字描述出来,做个记忆,方便自己也方便有需要的人查看。

      目前的版本yarn resourcemanager还没有实现ha,但是可以实现故障恢复,即有任务正在运行,此时将resourcemanager kill后再启动,resourcemanager会将正在运行的job杀掉重新运行。经过试验,这种恢复只能恢复已经有部分map成功的job,如果有job正在运行,但是没有一个map运行成功,那么还是不能重新启动。

      配置文件yarn-site.xml:


<property>
        <name>yarn.resourcemanager.recovery.enabled</name>

       <!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能重新启动-->
        <value>true</value>
</property>

<property>
        <name>yarn.resourcemanager.store.class</name>

        <!--此版本的rmstate信息存放主要有两种,一种是FileSystemRMStateStore,另一种是MemoryRMStateStore,还有一种目前较为主流的是zkstore,正在测试中,2.2版本还未提供-->             

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值