yarn的三种调度器
yarn我们都知道主要是用于做资源调度,任务分配等功能的,那么在hadoop当中,究竟使用
什么算法来进行任务调度就需要我们关注了,hadoop支持好几种任务的调度方式,不同的场
景需要使用不同的任务调度器.
第一种调度器:FIFO Scheduler(队列调度)把任务按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给
队列中最头上的任务进行分配资源,待最头上任务需求满足后再给下一个分配,以此类推。
FIFO Scheduler是最简单也是最容易理解的调度器,也不需要任何配置,但它并不适用于共享
集群。大的任务可能会占用所有集群资源,这就导致其它任务被阻塞。
第二种调度器:Capacity Scheduler(容量调度器,apache版本默认使用的调度器)
Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力。通
过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可
以通过设置多个队列的方式给多个组织提供服务了。除此之外,队列内部又可