Yarn调度器原理

Yarn调度器

• FIFO
• 容量（Capacity Scheduler)
• 公平（Fair Scheduler）

容量调度器和公平调度器都是在FIFO的基础上发展而来的。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

yarn-default.xml

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

1、FIFO

原理：单队列，根据提交作业的先后顺序。

缺点：不支持多队列，生产环境不适用。

2、容量调度器

特点：

1. 多队列:每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2. 容量保证:管理员可为每个队列设置资源最低保证和资源使用上限
3. 灵活性:如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4. 多租户:
   支持多用户共享集群和多应用程序同时运行。
   为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

对单个队列和同一用户进行限制。

资源分配算法：

1. 队列资源分配
   从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。

2. 作业资源分配
   默认按照提交作业的优先级和提交时间顺序分配资源。

3. 容器资源分配
   按照容器的优先级分配资源;
   如果优先级相同，按照数据本地性原则:

   （1）任务和数据在同一节点
   （2）任务和据在同一机架
   （3）任务和数据不在同一节点也不在同—机架

3、公平调度器

公平调度器设计目标是:在时间尺度上，所有作业获得公平的资源。

1. 与容量调度器相同点
   (1）多队列:支持多队列多作业
   (2）容量保证:管理员可为每个队列设置资源最低保证和资源使用上线
   (3）灵活性:如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
   (4）多租户:支持多用户共享集群和多应用程序同时运行;为了防止同一个用户的作业独占队列中的资源，该调度嚣会对同一用户提交的作业所占资源量进行限定。

2. 与容量调度器不同点
   (1）核心调度策略不同

   容量调度器:优先选择资源利用率低的队列

   公平调度器:优先选择对资源的缺额比例大的

   (2）每个队列可以单独设置资源分配方式

   容量调度器:FIFO、DRF

   公平调度器:FIFO、FAIR、DRF

关于缺额：

定义：某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
调度器会优先为缺额大的作业分配资源

资源分配算法：