Hadoop yarn资源调度——主要组件及介绍

yarn的概述：

yarn是hadoop集群当中的资源管理系统模块，从hadoop2.x开始引入yarn来进行管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及运行在yarn上面的各种任务。
yarn主要就是为了调度资源，管理任务等。其调度分为两个层级来说：
一级调度管理：
计算资源管理
App生命周期管理
二级调度管理：
App内部的计算模型管理
多样化的计算模型

yarn的主要组件

各个组件介绍

ResourceManager：

yarn集群的主节点，主要用于接收客户端提交的任务，并对任务进行分配。
在每个集群中，仅有一个，负责集群资源的统一管理和调度。

NodeManager：

yarn集群的从节点，主要用于任务的计算。
每个节点都有一个，负责单节点资源管理和调度。

ApplicationMaster：

当有新的任务提交到ResourceManager的时候，ResourceManager会在某个从节点nodeManager上面启动一个ApplicationMaster进程，负责这个任务执行的资源的分配，任务的生命周期的监控等

Container：

资源的分配单位，ApplicationMaster启动之后，与ResourceManager进行通信，向ResourceManager提出资源申请的请求，然后ResourceManager将资源分配给ApplicationMaster，这些资源的表示，就是一个个的container.


其他服务：
JobHistoryServer：这是yarn提供的一个查看已经完成的任务的历史日志记录的服务，我们可以启动jobHistoryServer来观察已经完成的任务的所有详细日志信息
TimeLineServer：hadoop2.4.0以后出现的新特性，主要是为了监控所有运行在yarn平台上面的所有任务（例如MR，Storm，Spark，HBase等等）

yarn当中各个主要组件的作用

resourceManager主要作用：

处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
集群的资源分配与调度

NodeManager主要作用：

单个节点上的资源分配与任务调度
接收并处理来自resourceManager的命令
接收并处理来自ApplicationMaster的命令
管理抽象容器container
定时向RM汇报本节点资源使用情况和各个container的运行状态

ApplicationMaster主要作用：

数据切分
为应用程序申请资源
任务监控与容错
负责协调来自ResourceManager的资源，开通NodeManager监视容的执行和资源使用（CPU,内存等的资源分配）

Container主要作用：

对任务运行环境的抽象
任务运行资源（节点，内存，cpu）
任务启动命令
任务运行环境

yarn的官网文档

http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-site/YARN.html

yarn监控界面

yarn集群的监控管理界面：
http://node01:8088/cluster
jobHistoryServer查看界面：
http://node01:19888/jobhistory