hadoop-2.2.0-yarn-resourcemanager恢复

原创 2013年12月03日 14:21:59

      十月份hadoop正式发布了hadoop2.2.0稳定版,让人期待的hadoop 2.0框架总算有个里程碑进展。个人最关注的还是namenode ha实现和yarn框架。为了使知识得到有效积累,特将自己的实验过程用文字描述出来,做个记忆,方便自己也方便有需要的人查看。

      目前的版本yarn resourcemanager还没有实现ha,但是可以实现故障恢复,即有任务正在运行,此时将resourcemanager kill后再启动,resourcemanager会将正在运行的job杀掉重新运行。经过试验,这种恢复只能恢复已经有部分map成功的job,如果有job正在运行,但是没有一个map运行成功,那么还是不能重新启动。

      配置文件yarn-site.xml:


<property>
        <name>yarn.resourcemanager.recovery.enabled</name>

       <!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能重新启动-->
        <value>true</value>
</property>

<property>
        <name>yarn.resourcemanager.store.class</name>

        <!--此版本的rmstate信息存放主要有两种,一种是FileSystemRMStateStore,另一种是MemoryRMStateStore,还有一种目前较为主流的是zkstore,正在测试中,2.2版本还未提供-->                     

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
</property>

<property>
        <name>yarn.resourcemanager.fs.state-store.uri</name>

       <!--此处配置为hdfs存储状态信息,还可以配置为存放在本地路径,之所以存放在hdfs上是考虑都如果rm节点完全挂掉,还可以在其他节点上启动rm直接读取hdfs信息,如果放在本地文件系统上还需要进行状态信息的同步。-->
        <value>hdfs://mycluster/rmstore</value>
 </property>

 

相关文章推荐

Hadoop-2.4.1学习之ResourceManager重启

本文翻译自hadoop官网的ResourceManager Restart一文,主要讲解了ResourceManager在遇到故障重启后而不影响重启前的应用程序的特性,以及如何配置ResourceMa...

Hadoop2的ResourceManager高可用配置

Hadoop 2.2没怎么关注过,太新,bug太多。2.4出来以后关注了一些东西,比如2.4里面直接带了ResourceManager的高可用,这点比较吸引人。之前2.2没注意有没有,貌似是没有,然后...

Yarn NodeManager restart特性

默认Yarn NodeManager重启时会丢失所有当前正在运行的container的状态,这意味着重启后需要重新启动container进程,该特性的作用就是把NM的状态临时保存到本地,重启后从之前的...

Hadoop-2.6.0NodeManager Restart Recover实现分析(一)

一、简介      This document gives an overview of NodeManager (NM) restart, a feature that enables the No...

hadoop2.7.3 HA YARN 环境搭建

hadoop2.7.3 HA YARN 环境搭建 本文主要参考: http://www.cnblogs.com/captainlucky/p/4654923.html 本文实现前提: 1、已经能...

YARN ResourceManager failover机制

UHP博客文章地址:http://yuntai.1kapp.com/?p=546 原创文章,转载请注明出处:http://blog.csdn.net/wind5shy/article/detai...

Apache Hadoop YARN – ResourceManager

原文地址:
  • wujun8
  • wujun8
  • 2014年06月25日 11:09
  • 5248

hadoop集群之YARN`s ResourceManager HA(三)

如果有看蒙圈的地方,请看下HDFS HA 官方给出的方案如下 配置目标: node1 node2 node3:3台ZooKeeper node1 node2:为2台ResourceMan...

hadoop2/MRv2 YARN整体了解 ResourceManager

1.ResourceManager是什么?能干什么?分配的资源到底是什么?ResourceManager相当于整个系统的master,主要功能是启动application的ApplicationMas...

Hadoop -YARN ResourceManager 剖析

Hadoop YARN ResourceManager 内部结构剖析
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop-2.2.0-yarn-resourcemanager恢复
举报原因:
原因补充:

(最多只允许输入30个字)