Yarn

Hadoop Yarn是Hadoop2.0中出现的一个模块，这个模块的作用是进行任务调度和资源管理。

出现原因：

1.外因。随着大数据的发异，出现了越来越多样化的计算框架，例如实时流框架Storm,内存计算框架Spark等。这些计算框架如果需要利用Hadoop来进行实现，那么这些框架需要提供单独的一套管理。

2,内因：在Hadoop1.0中，JobTracker作为核心节点它的管理和分配的压力实际是比较大的，实际验证，当JobTracker管理的节点超过4000个的时候，效率成倍下降。

Yarn的出现，实际上一定程度上取代了MapReduce的一部分任务。

执行流程

1.客户端将任务提交给ResourceManager,ResourceManager会在某个NodeManager启动一个ApplicationMaster,然后将任务分配给这个ApplicationMaster.这个过程中需要注意的是，每一个任务都会对应一个ApplicationMaster.

2.ApplicationMaster在接受到任务之后，会将这个任务拆分很多的子任务。（如果是在MapReduce中，那么就是将这个任务拆分为MatTask和ReduceTask）。然后ApplicationMaster会根据子任务的数量向ResourceManager申请资源（Maptask*3，申请全部副本，返回只返回1个副本）

3.ResourceManager在收到ApplicationMaster的请求之后，会将资源（主要包含内存大小，CPU核数，网络带宽大小等）封装成一个个的Container对象，然后将Container对象放入队列中返回给ApplicationMaster

4.ApplicationMaster收到资源之后，会为每一个子任务分配一份资源，然后 将子任务分配到NodeManager上执行。在执行过程中，ApplicationMaster会监控每一个子任务是否执行完成。

5.注意

a.ResourceManager分配资源分配的是NodeManager的资源总量

b.NodeManager会定时向ResourceManager发送心跳，心跳信息包含当前节点的资源使用量以及ApplicationMaster的状态。