129-131-Hadoop-Yarn-调度器

129-Hadoop-Yarn-调度器：

Yarn 调度器和调度算法 （了解概念）

目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair

Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。

CDH 框架默认调度器是 Fair Scheduler。

<property>
 <description>The class to use as the resource scheduler.</description>
 <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

先进先出调度器（FIFO）

优点：简单易懂；

缺点：不支持多队列，生产环境很少使用；

FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

容量调度器（Capacity Scheduler）

1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

2、容量保证(A)：管理员可为每个队列设置资源最低保证和资源使用上限

3、灵活性(B)：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用

程序提交，则其他队列借调的资源会归还给该队列。

4、多租户©：

支持多用户共享集群和多应用程序同时运行。

为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

容量调度器资源分配算法(先运行占用资源少的，快，结束会有更多资源，就近原则)

**公平调度器（**Fair Scheduler）Facebook 开发

公平调度器特点

公平调度器——缺额

• 公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一

时刻一个作业应获资源和实际获取资源的差距叫“缺额”

• 调度器会优先为缺额大的作业分配资源

公平调度器队列资源分配方式

1**）FIFO策略**

公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。

2**）Fair策略**

Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资 源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则 每个应用程序可得到1/3的资源。

具体资源分配流程和容量调度器一致；

（1）选择队列

（2）选择作业

（3）选择容器

以上三步，每一步都是按照公平策略分配资源

➢ 实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）

➢ 是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）

➢ 资源分配比：minShareRatio = 资源使用量 / Max（mindshare,

➢ 资源使用权重比：useToWeightRatio = 资源使用量 / 权重

公平调度器资源分配算法

公平调度器队列资源分配方式

公平调度器队列资源分配方式

DRF策略

DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默 认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。 那么在YARN中，我们用DRF来决定如何调度： 假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。 则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是 CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比 ）。 则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制