八、yarn简述

一、yarn
是Hadoop提供的一共用于进行资源调度和任务管理的框架。

注意：
1、如果有多个Task，那么会scheduler中形成资源队列，队列中存储的是Container。
2、如果资源队列已满，这个时候来的新任务会被阻塞
3、如果多个任务同时申请资源，那么一般默认MapTask会优先申请

一个节点中会有一个Nodemanager，意味着一个NodeManager将会执行不只一个Task

二、YARN是Hadoop2.0版本引进的资源管理系统，直接从MR1演化而来。
核心思想：将MR1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现。
ResourceManager：负责整个集群的资源管理和调度
ApplicationMaster：负责应用程序相关事务，比如任务调度、任务监控和容错等。

YARN的出现，使得多个计算框架可以运行在同一个集群之中。
1、每一个应用程序对应一个ApplicationMaster。

2、目前可以支持多种计算框架运行在YARN上面，比如MapReduce、storm、Spark、Flink。

三、yarn作业执行流程
1、用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令，用户程序等。

2、ResourceManager 为该程序分配第一个 Container，并与对应的 NodeManager 通讯，要求它在这个 Container 中启动应用程序 MRAppMaster。

3、MRAppMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManager 查看应用程序的运行状态，然后将为各个任务申请资源，并监控它的运行状态，直到运行结束，重复 4 到 7 的步骤。

4、MRAppMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。

5、一旦 MRAppMaster 申请到资源后，便与对应的 NodeManager 通讯，要求它启动任务。

6、NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

7、各个任务通过某个 RPC 协议向 MRAppMaster 汇报自己的状态和进度，以让 MRAppMaster 随时掌握各个任务的运行状态，从而可以在任务败的时候重新启动任务。