Yarn调度器和调度算法

一、FiFO（先进先出调度器）

        FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

二、容量调度器（Capacity Scheduler）

yahoo开发的多用户调度器

        

 1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限

3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

4、多租户：         支持多用户共享集群和多应用程序同时运行。         为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

算法

        1.队列资源分配

                使用深度优先算法，优先选择资源占用率最低的队列分配资源。

        2.作业资源分配

                默认按照提交作业的优先极和提交时间顺序分配资源。

        3.容器资源分配

                按照容器的优先级分配资源；如果优先级相同，按照数据的本地性原则：

                （1）任务和数据在同一节点上

                 （2）任务和数据在同一机架

                （3）任务和数据不在同一节点上，也不在同一机架上

三  公平调度器  fair Schedule 是Facebook开发的多用户调度器

        

1）与容量调度器相同点

 （1）多队列：支持多队列多作业

（2）容量保证：管理员可为每个队列设置资源最低保证和资源使用上线

（3）灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

（4）多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

2）与容量调度器不同点

（1）核心调度策略不同                                         （2）每个队列可以单独设置资源分配方式

容量调度器：优先选择资源利用率低的队列                容量调度器：FIFO、 DRF

公平调度器：优先选择对资源的缺额比例大的             公平调度器：FIFO、FAIR、DRF

        缺额？ 公平调度器设计目标是：在时间尺度上，所有作业获得相同的资源。某一时刻某一作业应获取的资源 和 实际获取资源的差值叫  缺额

1）FIFO策略

          公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。

2）Fair策略

        Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。

        具体资源分配流程和容量调度器一致；

                （1）选择队列 （2）选择作业 （3）选择容器 以上三步，每一步都是按照公平策略分配资源

实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）

是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）

资源分配比：minShareRatio = 资源使用量 / Max（mindshare, 1）

资源使用权重比：useToWeightRatio = 资源使用量 / 权重

 公平调度器资源分配算法

  （1）队列资源分配

需求：集群总资源100，有三个队列，对资源的需求分别是： queueA -> 20， queueB ->50， queueC -> 30

第一次算：100 / 3 = 33.33        queueA：分33.33  多13.33        queueB：分33.33  少16.67        queueC：分33.33  多3.33

第二次算： （13.33 + 3.33）/ 1 = 16.66        queueA：分20        queueB：分33.33 + 16.66 = 50        queueC：分30

（2）作业资源分配

        （a）不加权（关注点是Job的个数）：

        需求：有一条队列总资源12个, 有4个job，对资源的需求分别是: job1->1,  job2->2 , job3->6,  job4->5

第一次算:  12 / 4 = 3     job1: 分3 --> 多2个     job2: 分3 --> 多1个     job3: 分3 --> 差3个     job4: 分3 --> 差2个

第二次算: 3 / 2  = 1.5     job1: 分1     job2: 分2     job3: 分3 --> 差3个 --> 分1.5 --> 最终: 4.5     job4: 分3 --> 差2个 --> 分1.5 --> 最终: 4.5 第n次算: 一直算到没有空闲资源

（b）加权（关注点是Job的权重）：

需求：有一条队列总资源16，有4个job 对资源的需求分别是: job1->4   job2->2  job3->10  job4->4 每个job的权重为:   job1->5   job2->8  job3->1   job4->2

第一次算: 16 / (5+8+1+2) =  1     job1:  分5 --> 多1     job2:  分8 --> 多6     job3:  分1 --> 少9     job4:  分2 --> 少2            

第二次算: 7 / (1+2) = 7/3     job1: 分4     job2: 分2     job3: 分1 --> 分7/3（2.33） -->少6.67     job4: 分2 --> 分14/3(4.66) -->多2.66

第三次算:2.66/1=2.66     job1: 分4     job2: 分2     job3: 分1 --> 分2.66/1 --> 分2.66     job4: 分4 第n次算: 一直算到没有空闲资源