yarn的三种调度器

yarn的三种调度器

yarn我们都知道主要是用于做资源调度,任务分配等功能的,那么在hadoop当中,究竟使用
什么算法来进行任务调度就需要我们关注了,hadoop支持好几种任务的调度方式,不同的场
景需要使用不同的任务调度器.
第一种调度器:FIFO Scheduler(队列调度)把任务按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给
队列中最头上的任务进行分配资源,待最头上任务需求满足后再给下一个分配,以此类推。
FIFO Scheduler是最简单也是最容易理解的调度器,也不需要任何配置,但它并不适用于共享
集群。大的任务可能会占用所有集群资源,这就导致其它任务被阻塞。
在这里插入图片描述
第二种调度器:Capacity Scheduler(容量调度器,apache版本默认使用的调度器)

Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力。通
过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可
以通过设置多个队列的方式给多个组织提供服务了。除此之外,队列内部又可

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理,它负责在集群上有效分配和管理资源YARN提供了三种不同的调度,它们是: 1. FIFO调度(First-In-First-Out Scheduler):FIFO调度YARN最简单的调度之一,它按照任务提交的先后顺序进行调度,没有优先级或资源约束的考虑。当有新的任务提交时,FIFO调度会将其分配给可用的资源,并等待前面的任务完成后再进行下一个任务的调度。这种调度适用于简单的场景,不涉及资源竞争或优先级需求。 2. 容量调度(Capacity Scheduler):容量调度是一种多队列调度,它将集群资源按比例划分给不同的队列,每个队列都有自己的资源配额。容量调度支持多个租户或应用程序共享集群资源,通过配置不同队列的资源配额和优先级,可以灵活地控制资源的分配。容量调度还支持预留资源和抢占机制,以保证重要任务的执行和高效利用集群资源。 3. 公平调度(Fair Scheduler):公平调度是一种公平共享资源调度,它试图以公平的方式分配资源给不同的应用程序。公平调度将集群资源按照比例分配给不同的应用程序或作业,以避免某个应用程序垄断资源的情况。公平调度还支持资源抢占,可以根据应用程序的优先级和需求,动态地重新分配资源以满足不同应用程序的需求。 这三种调度各有特点,适用于不同的应用场景。FIFO调度简单易用,适合简单的任务调度需求;容量调度适用于多租户共享资源的场景,可以精细控制资源分配;公平调度适用于追求公平性的场景,以确保每个应用程序都能获得公平的资源分享。根据具体的需求和集群规模,可以选择合适的调度来管理和分配集群资源

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值