Hadoop 调度器主要分为三类:
- FIFO Scheduler:先进先出调度器:优先提交的,优先执行,后面提交的等待(生产环境不会使用);
- Capacity Scheduler:容量调度器:允许创建多个任务队列,每个队列使用所有资源的一部分。多个任务队列可以同时执行。但是一个队列内部还是先进先出。(Hadoop 2.7.2 默认的调度器);
- Fair Scheduler:公平调度器:第一个程序在启动时可以占用其他队列的资源(100%占用),当其他队列有任务提交时,占用资源的队列需要将资源还给该任务。还资源的时候,效率比较慢。(CDH版本的yarn 调度器默认)