Yarn介绍

YARN的基本思想是将资源管理和作业调度/监视的功能划分为单独的守护进程。其想法是拥有一个全局资源管理器ResourceManager（RM）和每个应用程序一个的应用程序管理员ApplicationMaster（AM）。应用程序可以是单个作业，也可以是多个作业组成的DAG（有向无环图）。

一，介绍

yarn是一种通用的资源管理系统和调度平台。
资源管理系统 ：管理集群内的硬件资源，和程序运行相关，比如内存，CPU等。
调度平台：多个程序同时申请计算资源时提供分配，调度的规则（算法）。
通用：不仅仅支持MapReduce程序，理论上支持各种计算程序如spark，flink。yarn不关系程序的计算内容，只关心程序所需的资源，在程序申请资源的时候根据调度算法分配资源，计算结束之后回收计算资源。使用yarn作为资源调度平台的计算框架自身需要提供ApplicationMaster来负责计算任务的调度。

二， yarn 框架

Yarn是主从式设计，主节点为ResourceManager，从节点NodeManager。
架构图：

ApplicationMaster也是yarn中不可缺失的一部分，但是其由具体的计算框架来提供，相当于Yarn只提供了一个需要实现的接口。

三，ResourceManager

ResourceManager全局资源管理器由两部分组成，分别为Scheduler 和 ApplicationsManager。

3.1，ApplicationsManager

主要的负责接收client端传输的job请求，为应用（如 mapreduce程序）分配第一个Container（资源池）来运行我们的ApplicationsMaster；负责监控ApplicationMaster，并且在遇到失败的时候重启ApplicationMaster。

3.2，Scheduler

调度器负责将资源分配给各种正在运行的应用程序，这些应用程序受到容量、队列等常见的限制。调度器是纯粹的调度器，它不监视或跟踪应用程序的状态。此外，它也不能保证重启失败的应用程（由ApplicationManager负责）。调度器根据应用程序的资源需求执行其调度功能；它是基于Container的抽象概念来实现资源调度的，Scheduler通过给任务分配Container的方式来分配资源。

调度器是可插拔的，常用的调度器有CapacityScheduler和FairScheduler。

四，NodeManager

NodeManager节点资源管理器，是每台机器的框架客户端/代理，负责Container容器管理，监控他们的资源使用，并汇报给ResourceManager/Scheduler。

Container：
NodeManager将节点中的资源切分出来组成一个个可以单独运行任务（map，reduce）的Container容器，用来运行任务。容器中资源目前只支内存、cpu。一个Container类似于开辟了一个虚拟机，一个NodeManager中可以分配一个或者多个Container。Container底层使用了轻量级资源隔离机制Cgroups进行资源隔离（docker底层好像也是使用了Cgroups）。
Container是Yarn集群分配资源的基本单位。

五，ApplicationMaster

ApplicationMaster运行在NodeManager的Container中，并且是应用程序申请到的第一个Container。它负责一个应用程序中具体任务的执行，比如mapreduce应用的map任务，reduce任务，每一个应用都有一个ApplicationMaster，它受ApplicationsManager管理，ApplicationMaster进程如果非正常死亡，ApplicationsManager可以重启它。
主要功能：
1，与ResourceManager中的Scheduler 协商获取执行资源。
2，与NodeManager通讯以启动，停止任务
3，监控所属的任务的执行。

六，客户端提交任务到yarn中运行的流程。

步骤说明：
1，客户端向ResourceManager中的ApplicationManager提交作业申请，申请jobID。
2，ApplicationManager 返回一个jobID，以及运行的hdfs临时路径(hdfs://… jobID)。
3，客户端将作业的jar包，配置信息等上传到分配的hdfs临时路径(hdfs://… jobID)中。
4，客户端上传文件成功后，向ApplicationManager发送执行作业请求。
5，ApplicationManager将请求转发给Scheduler，申请执行所需资源。
6，调度器将作业放置到相关队列中，当执行到该作业时，开始让ApplicationManager分配Containers。
7，ApplicationManager命令NodeManager使用分配的container资源启动ApplicationMaster。
8，ApplicationMaster启动后去分配的hdfs临时路径(hdfs://… jobID)中读取作业的具体信息，根据分片信息创建map任务，reduce任务。
9，ApplicationMaster向Scheduler请求资源来执行map任务，reduce任务。
10，Scheduler返回申请结果。
11，AppMaster通知NodeManager，启动map，reduce任务。
12，NodeManager启动map，reduce任务。
13，map，reduce任务读取数据，进行逻辑计算。计算过程中如果有map，reduce任务执行失败了，AppMaster负责重启任务。
14，程序执行成功后，AppMaster向Scheduler发送请求，释放资源。