Yarn调度器与调度算法

目录

前言：

一   Yarn调度器

（1）先进先出调度器（FIFO）

（2）容量调度器（Capacity Scheduler）

（3）公平调度器（Fair Scheduler）

二  公平调度器队列资源分配方式与分配算法

（1）FIFO策略

（2）Fair策略

（3）DRF策略

---

前言：

        YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。本文将具体阐述Yarn调度器与其调度算法。

一   Yarn调度器

        目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

        CDH框架默认调度器是Fair Scheduler。

（1）先进先出调度器（FIFO）

        FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

FIFO调度器

优点	缺点
简单易懂；	不支持多队列，多并发；
实现简单；	生产环境不建议使用；

（2）容量调度器（Capacity Scheduler）

        Capacity Scheduler是Yahoo开发的多用户调度器。

容量调度器优点：

1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限

3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

4、多用户：

        支持多用户共享集群和多应用程序同时运行。

        为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

如下图所示，该调度器首先将总体资源按照30%、30%、40%配比分给三个队列，然后在队列三中又有两个用户，又将队列三中的资源按照50%、50%配比分给两个用户。

 Capacity Scheduler容量调度器在开发使用过程中使用较为频繁。

容量调度器分配算法

        容量调度器算法首先从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。然后按照提交作业的优先级和提交事件的顺序分配资源（与FIFO资源调度器相同）。容器内部资源分配首先按照容器的优先级分配资源，当容器的优先级相同时，按照数据本地性原则考虑。

数据本地性原则

任务和数据在同一节点

任务和数据在同一机架

任务和数据也不再同一节点也不再同一机架

（3）公平调度器（Fair Scheduler）

        Fair Schedulere是Facebook开发的多用户调度器。

公平调度器与容量调度器的共同点有：

1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限

3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

4、多用户：

        支持多用户共享集群和多应用程序同时运行。

        为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

公平调度器与容量调度器之间的不同点有：

（1）核心策略不同：容量调度器优先选择资源利用率低的队列。公平调度器优先选择对资源的缺额比例大的队列。

（2）每个队列可以单独设置资源分配方式：

容量调度器使用：FIFO、DRF 。  公平调度器主要使用:FIFO、FAIR、DRF

 缺额：在时间尺度上，所有作业获得公平的资源。在某一时刻一个作业应获得资源和实际获得资源的差距叫做缺额。

公平调度器会优先为缺额打的作业分配资源。

二  公平调度器队列资源分配方式与分配算法

（1）FIFO策略

当公平调度器采用FIFO策略进行资源分配时，那么其就等价于上面的容量调度器。

（2）Fair策略

        2.1 队列资源分配

        Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。

如果有三个队列，对资源的需要分别为20%，30%，50%。

如果采用公平调度器，调度器内部第一次计算会将资源等分为三份（33.3%）分给三个队列。第二次计算会将多的资源值继续等分。直至资源分配完毕。

         2.2 作业资源分配

        不加权重（关注的是Job的个数）

有一条队列总资源12个, 有4个job，对资源的需求分别是: job1->1,  job2->2 , job3->6,  job4->5调度器会进行如下计算。

 第一次计算：  12 / 4 = 3

    job1: 分3 --> 多2个

    job2: 分3 --> 多1个

    job3: 分3 --> 差3个

    job4: 分3 --> 差2个

第二次计算: 3 / 2  = 1.5

    job1: 分1

    job2: 分2

    job3: 分3 --> 差3个 --> 分1.5 --> 最终: 4.5

    job4: 分3 --> 差2个 --> 分1.5 --> 最终: 4.5

第n次计算: 一直算到没有空闲资源

加权（关注点是Job的权重）

 有一条队列总资源16，有4个job 对资源的需求分别是:

job1->4   job2->2  job3->10  job4->4

每个job的权重为:  

job1->5   job2->8  job3->1   job4->2 调度器会进行如下计算

 第一次计算: 16 / (5+8+1+2) =  1

    job1:  分5 --> 多1

    job2:  分8 --> 多6

    job3:  分1 --> 少9

    job4:  分2 --> 少2    

第二次计算: 7 / (1+2) = 7/3

    job1: 分4

    job2: 分2

    job3: 分1 --> 分7/3（2.33） -->少6.67

    job4: 分2 --> 分14/3(4.66) -->多2.66

第三次计算:2.66/1=2.66

    job1: 分4

    job2: 分2

    job3: 分1 --> 分2.66/1 --> 分2.66

    job4: 分4

第n次计算: 一直算到没有空闲资源

加权与不加权的计算其实本质是相同的，只是不加权的每个job的权重都为1. 

（3）DRF策略

   DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。

那么在YARN中，我们用DRF来决定如何调度：

假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。

        在生产使用过程中，由于FIFO调度器不支持多队列多并发用户的性质，导致在生产使用过程中，我们不使用FIFO调度器。主要选择容量调度器与公平调度器。