【若泽大数据高级第三天】--基于阿里云的YARN HA架构

YARN HA 架构

架构图

进程部署情况

Hadoop001	ZK	RM(zkfc)	NM
Hadoop002	ZK	RM(zkfc)	NM
Hadoop003	ZK	-	NM

• ZKFC在hdfs HA 中式一个单独的进程，但是在YARN的HA中，zkfc是RM进程中的一个线程
• RMStateStore()：
  存储在zk的/rmstore目录下

1. activeRM回想这个目录写APP信息
2. 当activeRM挂起时，standbyRM通过ZKFC线程选举为active(不是ZKFC选举)，会从/rmstore读取相应的作业信息；重新构建作业的内存信息，启动内部的服务后开始接收NM的心跳，构建集群的资源信息，并接收客户端的作业请求
   因此YARN NM上报心跳和HDFS DN上报心跳等状态不一样，YARN NM上报心跳只向active状态节点汇报

• ResourceManager(RM)

3. 启动时会向ZK的/rmstore目录写lock文件，写成功就为active，否则就是standby状态
4. 接收client的请求，纪无首和监控NM的资源状况的汇报，负载资源的分配和调度
5. 启动和监控AppMaster on NM 节点的container

• Node Manager(NM)
  节点资源的管理器，启动容器运行task计算并上报资源，汇报task运行进度