yarn 的调度器和调度算法

一、FIFO 调度器

• FIFO 调度器，即先进先出调度器，它使用一个单队列，根据提交作业的先后顺序，先来先处理
• 优点：简单易懂
• 缺点：不支持多队列，生产环境很少使用

二、容量调度器

容量调度器：Capacity Scheduler，Apache Hadoop3.x 默认调度器，是 Yahoo 开发的多用户调度器

1. 特点

• 多队列：每个队列可配置一定的资源量，每个队列内部默认采用 FIFO 调度策略，可设置为 DRF

  root
  |---queueA 20%
  |---queueB 50%
  |---queueC 30%
      |---userA 50%
      |---userB 50%
  

• 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限

• 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列

• 多用户：支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定

2. 分配算法

• 队列资源分配：从 root 开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
• 作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
• 容器资源分配：按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
  1. 任务和数据在同一节点
  2. 任务和数据在同一机架
  3. 任务和数据不在同一节点也不在同一机架

三、公平调度器

公平调度器：Fair Scheduler，CDH 默认调度器，是 Facebook 开发的多用户调度器

1. 特点

• 多队列：每个队列可配置一定的资源量，每个队列可设置的调度策略为 FIFO、FAIR、DRF
• 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
• 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列
• 多用户：支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定
• 优先选择对资源的缺额比例大的队列进行调度

2. 缺额

某一时刻一个作业应获取资源和实际获取资源的差距

3. 分配算法

3.1 FIFO 策略

根据提交作业的先后顺序，先来先服务；此时相当于容量调度器

3.2 Fair 策略

默认策略，一种基于最大最小公平算法实现的资源多路复用方式

• 一些概念：

  • 实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）
  • 是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）
  • 资源分配比：minShareRatio = 资源使用量 / Max（mindshare, 1）
  • 资源使用权重比：useToWeightRatio = 资源使用量 / 权重

• 队列资源分配：

  需求：集群总资源 100，有三个队列，对资源的需求分别是：
  queueA -> 20， queueB ->50， queueC -> 30
  
  第一次算：100 / 3 = 33.33
  queueA：分33.33 → 多13.33
  queueB：分33.33 → 少16.67
  queueC：分33.33 → 多3.33
  
  第二次算： （13.33 + 3.33）/ 1 = 16.66
  queueA：分20
  queueB：分33.33 + 16.66 = 50
  queueC：分30
  

• 作业资源分配：

  • 不加权：

    需求：有一条队列总资源12个, 有4个job，对资源的需求分别是:
    job1->1, job2->2 , job3->6, job4->5
    
    第一次算: 12 / 4 = 3
    job1: 分3 --> 多2个
    job2: 分3 --> 多1个
    job3: 分3 --> 差3个
    job4: 分3 --> 差2个
    
    第二次算: 3 / 2 = 1.5
    job1: 分1
    job2: 分2
    job3: 分3 --> 差3个 --> 分1.5 --> 最终: 4.5
    job4: 分3 --> 差2个 --> 分1.5 --> 最终: 4.5
    
    第n次算: 一直算到没有空闲资源
    

  • 加权：

    需求：有一条队列总资源16，有4个job 对资源的需求分别是:
    job1->4 job2->2 job3->10 job4->4
    每个job的权重为:
    job1->5 job2->8 job3->1 job4->2
    
    第一次算: 16 / (5+8+1+2) = 1
    job1: 分5 --> 多1
    job2: 分8 --> 多6
    job3: 分1 --> 少9
    job4: 分2 --> 少2
    
    第二次算: 7 / (1+2) = 7/3
    job1: 分4
    job2: 分2
    job3: 分1 --> 分7/3（2.33） -->少6.67
    job4: 分2 --> 分14/3(4.66) -->多2.66
    
    第三次算:2.66/1=2.66
    job1: 分4
    job2: 分2
    job3: 分1 --> 分2.66/1 --> 分2.66
    job4: 分4
    
    第n次算: 一直算到没有空闲资源
    

3.3 DRF 策略

Dominant Resource Fairness

假设集群一共有100 CPU和10T 内存，而应用 A 需要（2 CPU, 300GB），应用 B 需要（6 CPU，100GB）。
则两个应用分别需要 A（2%CPU, 3%内存）和 B（6%CPU, 1%内存）的资源，这就意味着 A 是内存主导的, B 是 CPU 主导的，针对这种情况，我们可以选择 DRF 策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制