大数据基础之Hadoop——Yarn机制

Yarn概述

 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

 其主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

Yarn工作机制

Yarn工作机制简述：

1. 用户使用客户端向ResourceManager提交一个任务job，同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置，如果没有特别指定，则使用默认设置。
2. ResourceManager在收到任务提交的请求后，先根据资源和队列是否满足要求选择一个 NodeManager，通知它启动一个特殊的 container，称为 ApplicationMaster（AM），后续流程由它发起。
3. ApplicationMaster向 ResourceManager注册后根据自己任务的需要，向ResourceManager申请 container，包括数量、所需资源量、所在位置等因素。
4. 如果队列有足够资源，ResourceManager会将 container 分配给有足够剩余资源的 NodeManager，由 ApplicationMaster通知 NodeManager启动 container。
5. container 启动后执行具体的任务，处理分给自己的数据。NodeManager除了负责启动 container，还负责监控它的资源使用状况以及是否失败退出等工作，如果 container 实际使用的内存超过申请时指定的内存，会将其杀死，保证其他 container 能正常运行。
6. 各个 container 向 ApplicationMaster汇报自己的进度，都完成后，ApplicationMaster向 ResourceManager 注销任务并退出，ResourceManager通知 NodeManager杀死对应的 container，任务结束。

Yarn详细工作流程

yarn工作流程：

• 作业提交阶段
• 作业初始化阶段
• 任务分配阶段
• 任务运行阶段
• 作业完成阶段

1. 作业提交阶段
Client向ResourceManager提交作业，并同时申请一个Job_id。
ResourceManger收到请求后，给Client返回一个Job_id和HDFS资源路径。
Client收到返回的hdfs路径后上传任务的jar包和文件分片信息。
Client提交完成后向ResourceManager发送执行任务请求。
ResourceManger接收到请求后，针对Job创建一个ApplicationManager管理此次任务。

2. 作业初始化阶段
新创建的ApplicationManager将Job添加到ResourceScheduler(资源调度器)中，资源调度器维护一个队列，所有需要执行的Job都会保存到队列中，并按一定规则等待执行。
到Job需要执行时,ResourceScheduler通知ApplicationManager有空闲的NodeManager可以开始执行Job任务。
ApplicationManager调用分配给他的NodeManager开辟容器Container，启动对应需要被执行的ApplicationMaster。
ApplicationMaster获取HDFS上提交的文件，根据分片信息生成Task。

3. 任务分配阶段
ApplicationMaster想ResourceManager申请运行Task的任务资源。
ResourceManager分派Task任务给空闲的NodeManager，NodeManager分别领取资源并创建用于执行Task的容器Container。

4. 任务运行阶段
ApplicationMaster通知所有接收到Task计算任务的NodeManager启动计算。
NodeManager启动Task计算。
如果这一批Task计算运行完毕后还有新的Task需要执行，则想ResourceManager申请Container执行后续的Task。
所有Task执行完毕后，ApplicationMaster想ResourceManager申请注销自己。

5. 作业完成阶段
更新框架进度和状态。