4. Yarn

4.1 调度器定义、区别

1）Hadoop 调度器主要分为三类：

FIFO、Capacity Scheduler（容量调度器）和 Fair Scheduler（公平调度器）。

Hadoop 2.7.2 默认的资源调度器是 容量调度器。

2）区别：

① FIFO 调度器：先进先出

② 容量调度器：允许多个队列共享一个Hadoop集群，每个队列所分配的集群资源是固定的且可配置的。每个队列内部还可以进一步划分成小队列，小队列之间共享整个队列的资源。在一个队列中，使用 FIFO 规则进行任务调度。

③ 公平调度器：支持多队列多用户，每个队列中的资源量是固定的且可配置的，同一队列中的作业公平共享队列中所有资源，每个队列中的 job 按照优先级分配资源，优先级越高分配越多，在资源有限的情况下，每个job 理想获得的计算资源与真实获得的计算资源的差值叫做缺额，**同一队列中，job 的资源缺额越大，越优先执行，**可以多个任务同时运行。

---

4.2 Yarn 的 job 提交流程