YARN学习总结-第十三节-YARN-Graceful Decommission

YARN-Graceful Decommission

目前，支持两种下线方式：Normal or Graceful

yarn rmadmin -refreshNodes 通知NodesListManager检测和处理include、exclude主机。NodesListManager处理列在yarn.resoucemanager.nodes.exclude-path指定的文件配置的主机列表。这里不需要重启RM，因为刷新命令会让RM重新读取配置文件。

文件格式可以为纯文本或者xml格式。只有xml格式支持节点超时和平滑退役。

NodeListManager 检查和比较状态，根据下面的规则应用必要的动作。

Recommission DECOMMISSIONED or DECOMMISSIONING 节点不再被排除。

Gracefully decommission excluded nodes that are not already in DECOMMISSIONED nor DECOMMISSIONING state

Immediately decommission excluded nodes that are not already in DECOMMISSIONED state if -g flag is not specified

节点下线超时支持

可以在服务端指定超时时间，也可以在客户端指定超时时间。

<?xml version="1.0"?>
<hosts>
  <host><name>host1</name></host>
  <host><name>host2</name><timeout>123</timeout></host>
  <host><name>host3</name><timeout>-1</timeout></host>
  <host><name>host4, host5,host6</name><timeout>1800</timeout></host>
</hosts>

DecommissioningNodeWatcher：监控正在下线的节点的资源容器运行情况，当运行完毕后，节点会进入下线完成状态。

因为MR任务，在map任务结束后，节点依然会等待reduce任务结束，这会造成大量空闲容器，为了解决这个问题，一般有个超时时间 ，如果时间到了，则无条件将正在下线状态改为已经下线状态，然后重新调起任务。

下面是一些正在下线的子状态：

NODE、WATI_CONTAINER、WAIT_APP、TIMEOUT、READY、DECOMMISSIONED。

yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs：默认为3600sec，负值为无限超时。

yarn.resourcemanager.decommissioning-nodes-watcher.poll-interval-secs:默认为20sec

yarn.resourcemanager.nodes.exclude-path

yarn.resourcemanager.nodes.include-path