yarn resourcemanager重启作业保留设置

yarn可以通过相关配置支持resourcemanager重启过程中,不影响正在运行的作业,即重启后,作业还能够正常运行,需配置以下三个参数

yarn.resourcemanager.recovery.enabled	true
yarn.resourcemanager.store.class	org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore	有三种StateStore,分别是基于zookeeper, HDFS, leveldb, HA高可用集群必须用ZKRMStateStore
yarn.resourcemanager.fs.state-store.uri hdfs://集群/rmstore hdfs地址

测试过程中,没有使用yarn的HA,在配置的过程中yarn.resourcemanager.store.class设置为org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore,重启yarn,任务没有继续运行。recovery没有起作用。暂时还没有找到原因。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值