yarn resourcemanager重启作业保留设置

最新推荐文章于 2024-08-12 19:00:18 发布

xy908325

最新推荐文章于 2024-08-12 19:00:18 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/xy908325/article/details/89022905

版权

yarn可以通过相关配置支持resourcemanager重启过程中，不影响正在运行的作业，即重启后，作业还能够正常运行，需配置以下三个参数

yarn.resourcemanager.recovery.enabled	true
yarn.resourcemanager.store.class	org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore	有三种StateStore，分别是基于zookeeper, HDFS, leveldb, HA高可用集群必须用ZKRMStateStore
yarn.resourcemanager.fs.state-store.uri hdfs://集群/rmstore hdfs地址

测试过程中，没有使用yarn的HA，在配置的过程中yarn.resourcemanager.store.class设置为org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore，重启yarn，任务没有继续运行。recovery没有起作用。暂时还没有找到原因。