Yarn 的三种调度器

先进先出调度器(FIFO)

单队列,根据任务提交先后顺序,先来先执行。
优点:简单。
缺点:不支持多队列,生产环境很少用。
在这里插入图片描述

容量调度器(Capacity Scheduler)

Hadoop 2.7.2 默认的调度器

  1. 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
  2. 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
  3. 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
  4. 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。
    在这里插入图片描述

公平调度器(Fair Scheduler)

CDH版本的yarn 调度器默认
第一个程序在启动时可以占用其他队列的资源(100%占用),当其他队列有任务提交时,占用资源的队列需要将资源还给该任务。还资源的时候,效率比较慢。

  1. 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
  2. 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
  3. 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
  4. 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。

容量调度器:优先选择资源利用率低的队列
公平调度器:优先选择对资源的缺额比例大的

在这里插入图片描述

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值