【十八掌●内功篇】第六掌：YARN之YARN资源调度器

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌

---

系列文章：

【十八掌●内功篇】第六掌：YARN之架构和原理
【十八掌●内功篇】第六掌：YARN之ResourceManager
【十八掌●内功篇】第六掌：YARN之NodeManager
【十八掌●内功篇】第六掌：YARN之ApplicationMaster
【十八掌●内功篇】第六掌：YARN之YARN资源调度器

1、 资源调度器的职能

资源调度器是YARN最核心的组件之一，是一个插拔式的服务组件，负责整个集群资源的管理和分配。YARN提供了三种可用的资源调度器：FIFO、Capacity Scheduler、Fair Scheduler。

2、 资源调度器的分类

不同的任务类型对资源有着不同的负责质量要求，有的任务对时间要求不是很高(如Hive)，有的任务要求及时返还结果(如HBase)，有的任务是CPU密集型的(如过滤、统计类作业)，有的是I/O密集型的(如数据挖掘、机器学习)，所以简单的一种调度器并不能完全符合所有的任务类型。
有两种调度器的设计思路：
一是在一个物理Hadoop集群上虚拟多个Hadoop集群，这些集群各自有自己全套的Hadoop服务，典型的代表是HOD(Hadoop On Demand)调度器，Hadoop2.0中已经过时。
另一种是扩展YARN调度器。典型的是Capacity Scheduler、Fair Scheduler。

3、 基本架构

(1) 插拔式组件

YARN里的资源调度器是可插拔的，ResourceManager在初始化时根据配置创建一个调度器，可以通过参数yarn.resourcemanager.scheduler.class参数来设置调度器的主类是哪个，默认是CapacityScheduler，配置值为：org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler。
所有的资源调度器都要实现接口org.apache.hadoop.yarn.server.resourcemanager.scheduler.ResourceScheduler。

(2) 是一个事件处理器

YARN的资源管理器实际上是一个事件处理器，它处理6个SchedulerEventType类型的事件。
事件 说明
Node_Removed 集群中移除一个计算节点，资源调度器需要收到该事件后从可分配的资源总量中移除相应的资源量。
Node_Added 集群增加一个节点
Application_added RM收到一个新的Application。
Application_Remove 表示一个Application运行结束
Container_expired 当一个Container分配给AM后，如果在一段时间内AM没有启动Container，就触发这个事件。调度器会对该Container进行回收。
Node_Update RM收到NM的心跳后，就会触发Node_Update事件。

4、 资源调度模型

(1) 双层资源调度模型

YARN使用了双层资源调度模型。
第一层：ResourceManager中的调度器将资源分配给各个ApplicationMaster。这一层调度由YARN的资源调度器来实现。
第二层：ApplicationMaster再进一步将资源分配给它内部的各个任务。这一层的调度由用户程序这个计算框架来实现。
YARN的资源分配过程是异步的，YARN的调度器分配给AM资源后，先将资源存入一个缓冲区内，当AM下次心跳时来领取资源。
资源分配过程如下7个步骤：
步骤1：NodeManager通过周期性的心跳汇报节点信息
步骤2：RM为NM返回一个应答，包括要释放的Container列表。
步骤3：RM收到NM汇报的信息后，会出发资源调度器的Node_Update事件。
步骤4：资源调度器收到Node_Update事件后，会按照一定的策略将该节点上资源分配给各个应用程序，并

将分配结果存入一个内存数据结构中。
步骤5：应用程序的ApplicationMaster周期性地向RM发送心跳，以领取最新分配的Container。
步骤6：RM收到AM的心跳后，将分配给它的Container以心跳应答的方式返回给ApplicationMaster
步骤7：AM收到新分配的Container后，会将这些Container进一步分配给他的内部子任务。

(2) 资源保证机制

YARN采用增量资源分配机制来保证资源的分配。
增量资源分配机制是指当YARN暂时不能满足应用程序的资源要求时，将现有的一个节点上的资源预留，等到这个节点上累计释放的资源满足了要求，再分配给ApplicationMaster。
这种增量资源分配机制虽然会造成资源的浪费，但是能保证AM肯定会得到资源，不会被饿死。

(3) 资源分配算法

YARN的资源调度器采用了主资源公平调度算法（DRF）来支持多维度资源调度。

(4) 资源抢占模型

资源调度器中，每个队列可以设置一个最小资源量和最大资源量。为了提高集群使用效率，资源调度器会将负载较轻的队列资源分配给负载较重的队列使用，当负载较轻的队列突然接到了新的任务时，调度器才会将本属于该队列的资源分配给它，但是此时资源有可能正被其他队列使用，因此调度器必须等待其他队列释放资源，如果一段时间后发现资源还未得到释放，则进行资源抢占。

关于资源抢占的实现，涉及到一下两个问题：
a.如何决定是否抢占某个队列的资源
b. 如何使得资源抢占代价最小

资源抢占是通过杀死正在使用的Container实现的，由于Container已经处于运行状态，直接杀死Container会造成已经完成的计算白白浪费，为了尽可能地避免资源浪费，YARN优先选择优先级低的Container做为资源抢占的对象，并且不会立刻杀死Container，而是将释放资源的任务留给ApplicationMaster中的应用程序，以期望他能采取一定的措施来执行释放这些Container，比如保存一些状态后退出，如果一段时间后，ApplicationMaster仍未主动杀死Container，则RM再强制杀死这些Container。

5、 层级队列管理机制

(1) 层级队列

Hadoop1.0中使用了平级队列的组织方式，而后来采用了层级队列的组织方式。

层级队列的特点：

子队列

队列可以嵌套，每个队列都可以包含子队列；用户只能将应用程序提交到叶子队列中。

最小容量

每个子队列均有一个最小容量比属性，表示可以使用的父队列容量的百分比。
调度器总是优先选择当前资源使用率最低的队列，并为之分配资源。
指定了最小容量，但是不会保证会保持最小容量，同样会被分配给其他队列。

最大容量

队列指定了最大容量，任何时候队列使用的资源都不会超过最大容量。
默认情况下队列的最大容量是无限大。

用户权限管理

管理员可以配置每个叶子节点队列对应的操作系统的用户和用户组。

系统资源管理

管理员设置了每个队列的容量，每个用户可以用资源的量，调度器根据这些配置来进行资源调度

(2) 队列命名规则

为了防止队列名称的冲突和便于识别队列，YARN采用了自顶向下的路径命名规则，父队列和子队列名称采用.拼接。

6、 Capacity Scheduler

(1) Capacity Scheduler特点

Capacity Scheduler是Yahoo!开发的多用户调度器。主要有以下几个特点：

容量保证

管理员可以为队列设置最低保证和资源使用上限，同一个队列里的应用程序可以共享使用队列资源。

灵活性

一个队列里的资源有剩余，可以暂时共享给其他队列，一旦该队列有的新的任务，其他队列会归还资源，这样尽量地提高了集群的利用率。

多重租赁

支持多用户共享集群和多应用程序同时运行。

安全保证

每个队列有严格的ACL列表，限制了用户的权限。

动态更新配置文件

管理员对参数的配置是动态的。

(2) 配置

Capacity Scheduler的所有配置都在capactiy-scheduler.xml里，管理员修改后，要通过命令来刷写队列：yarn mradmin –refreshQueues
Capacity Scheduler不允许管理员动态地减少队列数目，且更新的配置参数值应该是合法值。
以下以队列tongyong为例来说明参数配置：

资源分配相关参数

<property>
    <name>yarn.scheduler.capacity.root.tongyong.capacity</name>
    <value>10</value>
    <description>队列资源容量百分比</description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.tongyong.user-limit-factor</name>
    <value>3</value>
    <description>
     每个用户最多可以使用的资源量百分比
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.tongyong.maximum-capacity</name>
    <value>30</value>
    <description>
      队列资源的使用的最高上限，由于存在资源共享，所以队列使用的资源可能会超过capacity设置的量，但是不会超过maximum-capacity设置的量
    </description>
  </property>

  <property>                                                                                                                                                                       
    <name>yarn.scheduler.capacity.root.tongyong.minimum-user-limit-percent</name>                                                                                            
    <value>30</value>                                                                                                                                                              
    <description>用户资源限制的百分比，当值为30时，如果有两个用户，每个用户不能超过50%，当有3个用户时，每个用户不能超过33%，当超过三个用户时，每个用户不能超过30%
    </description>                                                                                                                                                                 
</property>

限制应用程序数目相关参数

<property>
    <name>yarn.scheduler.capacity.root.tongyong.maximum-applications</name>
    <value>200</value>
     <description>
       队列中同时处于等待和运行状态的应用程序的数量，如果多于这个数量的应用程序将被拒绝。
    </description>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.tongyong.maximum-am-resource-percent</name>
    <value>0.1</value>
    <description>
      集群中用于运行应用程序ApplicationMaster的资源比例上限，该参数通常用于限制处于活动状态的应用程序的数目。
    </description>
  </property>

队列的访问和权限控制参数

  <property>
    <name>yarn.scheduler.capacity.root.tongyong.state</name>
    <value>RUNNING</value>
    <description>
      队列状态，可以为STOPPED或者为RUNNING。如果改为STOPPED，用户将不能向集群中提交作业，但是正在运行的将正常结束。
    </description>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.tongyong.acl_submit_applications</name>
    <value>root,tongyong,user1,user2</value>
    <description>
      限定哪些用户可以向队列里提交应用程序，该属性有继承性，子队列默认和父队列的配置是一样的。
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.tongyong.acl_administer_queue</name>
    <value>root,tongyong</value>
    <description>
      限定哪些用户可以管理当前队列里的应用程序。
    </description>
  </property>

7、 Fair Scheduler

特点:

1.资源公平共享

默认是Fair策略分配资源，Fair 策略是一种基于最大最小公平算法实现的，所有应用程序平分资源。

2.支持资源抢占

某个队列中有剩余资源时，调度器会将这些资源共享给其他队列，当该队列有了新的应用程序提交过来后，调度器会回收资源，调度器采用先等待再强制回收的策略。

3.负载均衡

Fair Scheduler提供了一个基于任务数目的负载均衡机制，尽可能将系统中的任务均匀分布到各个节点上。

4.调度策略配置灵活

可以每个队列选用不同的调度策略：FIFO、Fair、DRF

5.提高小应用程序的响应时间

小作业也可以分配大资源，可以快速地运行完成。

---

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌