Yarn调度器
- FIFO
- 容量(Capacity Scheduler)
- 公平(Fair Scheduler)
容量调度器和公平调度器都是在FIFO的基础上发展而来的。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。
yarn-default.xml
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
1、FIFO
原理:单队列,根据提交作业的先后顺序。
缺点:不支持多队列,生产环境不适用。
2、容量调度器
特点:
多队列
:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。容量保证
:管理员可为每个队列设置资源最低保证和资源使用上限灵活性
:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。多租户
:
支持多用户共享集群和多应用程序同时运行。
为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。
对单个队列和同一用户进行限制。
资源分配算法:
-
队列资源分配
从root开始,使用深度优先算法,优先选择资源占用率最低的队列分配资源。 -
作业资源分配
默认按照提交作业的优先级和提交时间顺序分配资源。 -
容器资源分配
按照容器的优先级分配资源;
如果优先级相同,按照数据本地性原则:(1)任务和数据在同一节点
(2)任务和据在同一机架
(3)任务和数据不在同一节点也不在同—机架
3、公平调度器
公平调度器设计目标是:在时间尺度上,所有作业获得公平的资源。
-
与容量调度器相同点
(1)多队列:支持多队列多作业
(2)容量保证:管理员可为每个队列设置资源最低保证和资源使用上线
(3)灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。
(4)多租户:支持多用户共享集群和多应用程序同时运行;为了防止同一个用户的作业独占队列中的资源,该调度嚣会对同一用户提交的作业所占资源量进行限定。 -
与容量调度器不同点
(1)核心调度策略不同容量调度器:优先选择资源利用率低的队列
公平调度器:优先选择对资源的缺额比例大的
(2)每个队列可以单独设置资源分配方式
容量调度器:FIFO、DRF
公平调度器:FIFO、FAIR、DRF
关于缺额:
定义:某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
调度器会优先为缺额大的作业分配资源
资源分配算法: