本文详细介绍了Yarn的三种调度策略：FIFO Scheduler、Capacity Scheduler和Fair Scheduler。FIFO Scheduler遵循先进先出原则，可能导致资源阻塞；Capacity Scheduler为小任务预留资源；Fair Scheduler则动态分配资源，实现任务间的公平共享。在CDH中，默认使用的是Fair Scheduler。
Yarn的调度
yarn的默认调度器
1：Apache hadoop2.x的默认调度器是Capacity Scheduler(计算调度器)
2：CDH的默认调度器是Fair Scheduler
Yarn三种调度策略对比
在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairScheduler。
1：FIFO Scheduler
FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。
FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。从图中可以看出，在FIFO 调度器中，小任务会被大任务阻塞。
2：Capacity Scheduler
而对于Capac
最低0.47元/天 解锁文章
1803
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
