Yarn HA 原理

• RMStateStore : 存储在Zookeeper的/rmstore目录

• ResourceManager:

  • RecourseManager中有ZKFC线程

  • 启动的时候会向zk的/rmstore中写look文件， 写成功为active， 否则为standby。ResourceManager的ZKFC会一直监控lock文件是否存在

  • 当ZKFC被选举为active时， 会从RMStateStore 中读取相应的作业信息， 重新构建作业的内存信息， 启动内部服务， 开始接受NodeManager的心跳， 构建集群的资源信息， 并接受客户端的作业请求。

  • 当active的ResourceManager挂了， 另一个standby RecourseManager通过ZKFC选举为active， 从RMStateStore 读取相应的作业信息， 重新构建作业的内存信息， 启动内部的服务

  • active ResourceManager 向RMStateStore中写Application信息

  • 接收和监控ApplicationMaster on NodeManager节点的container(作业的主程序)

• NodeManager：

  • 节点资源的管理
  • 启动容器
  • 运行task计算
  • 上报资源

转载于:https://my.oschina.net/dreamness/blog/3068988