YARN内部模块详细解读—令人震惊的Java工程

0. 前言

YARN的基本内容我已经在下面这篇文章中进行了较为详细的说明。
YARN简介
对于一般的使用者来说已经足够了，但是对于资源管理和调度系统的研究人员和研发人员来说，了解其内部实现时必须的。

认真看过YARN源码的人会被其内部的设计思想所震惊，对于并发的处理可以说做到了极致，服务、事件、状态机、异步处理器等等，下面将针对YARN中包含的模块进行较为详细的说明，旨在理清楚其中的关系，为大家阅读源码提供一些指导。

1. yarn产生背景

• 1.0版本局限：扩展性差，jobtracker兼备资源管理和任务调度，成为瓶颈；可靠性差，jobtracker单点问题；资源利用率低，基于槽位的资源分配模型，粗粒度槽位；无法支持多种计算框架，因为需要进行任务调度。
• 2.0优势：资源利用率提高，多个框架共享一个集群，削峰填谷；运维成本低；数据共享，跨集群间的数据移动。

2. 组成简介

• RM：全局资源管理器，资源管理和分配，包含调度器和应用程序管理器（管理所有AM）。资源管理系统主要做资源抽象，资源调度，资源隔离。
• AM：与RM协商获取资源，分配资源给子任务，与NM通信启动任务，监控任务运行状态。
• NM：向RM汇报本节点上的资源使用情况和容器运行情况，处理来自AM的请求。
• 容器：动态资源划分单位，支持CPU和内存，使用Cgroups进行资源隔离。

3. 通信协议

• 总是client去联系server采取pull-based方式。作业客户端和RM之间applicationclientprotocol；admin和RM之间resourcemanageradministratorprotocol，管理黑白名单和用户队列权限；AM与RM之间applicationmasterprotocol，