YARN ResourceManager重启作业保留配置


YARN可以通过配置支持ResourceManager重启过程中,不影响正在运行的作业,即重启后,作业还能正常继续运行直到结束。具体参考官网:
https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

配置方法如下

开启Recovery(即Enable RM Restart)

在${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件中添加如下配置:

   <property>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
   </property>

开启了Recovery后,ResourceManger会将应用的状态等信息保存到yarn.resourcemanager.store.class配置的存储介质中,重启后会load这些信息,并且NodeManger会将还在运行的container信息同步到ResourceManager,整个过程不影响作业的正常运行。
yarn.resourcemanager.store.class支持三种存储介质的配置,(HA集群只支持ZKRMStateStore),选择不同的介质,还需要增加相关配置,此处我们选择HDFS作为储存介质,具体存储路径为:hdfs://hadoopSvr1:8020/rmstore
采用如下命令新建目录:

hdfs dfs -mkdir /rmstore

在${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件中添加如下配置:

   <property>
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
   </property>
   <property>
       <name>yarn.resourcemanager.fs.state-store.uri</name>
       <value>hdfs://hadoopSvr1:8020/rmstore</value>
   </property>

YARN集群的每个节点都作同样的配置后,重启YARN集群。
打开YARN Web界面,如果查看到YARN UI的作业信息一直保留存在,证明配置成功!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值