【Yarn】资源调度策略

本文介绍了Yarn的三种资源调度策略:FIFO调度器、容量调度器和公平调度器。FIFO调度遵循先进先出原则,简单但不灵活;容量调度预先分配资源给多队列,支持动态调整和抢占,适用于企业场景;公平调度则让多队列公平共享资源,允许抢占并可配置队列权重。
摘要由CSDN通过智能技术生成

资源调度策略

Yarn既然是一个分布式资源调度框架,管理着节点上的计算资源,那它分配这些资源的时候,便会存在调度策略。

而Yarn的调度策略有三种:FIFO调度、容量调度、公平调度。接下来,会依次对这几种调度器进行讲解。

FIFO调度器

FIFO Scheduler(先进先出调度器),这种调度器其实已经耳熟能详了,它将所有任务放入一个队列,先进队列的先获得资源,排在后面的任务只有等待,总的原则就是先到先得。

img

虽然这种调度策略,实现起来非常简单;但它因为只有单个队列,无法交叉运行任务、灵活性差,紧急任务无法插队,耗时长的任务拖慢耗时短的任务,对紧急任务、小任务不友好。

Yarn在全局上,FIFO已经不再推荐使用,但它依然被保留为三种可选的调度策略之一;而且它在调度策略为容量调度器、公平调度器时,可作为单队列内部的调度方案。

容量调度器

Capacity Scheduler(容量调度器)的核心思

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

桥路丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值