MapReduce作业的调度

MapReduce作业的调度

历史发展：

① 按照作业的提交顺序执行 ，即先进先出（FIFO）调度算法来运行作业；

存在的问题，一些阻塞型任务会持续占有资源，使得任务无法进行。可以类似单线程相对于多线程存在的阻塞问题。

② 作业优先级调度算法；

存在的问题：优先级不支持抢占，仍然存在上一个算法的阻塞问题；

③ MapReduce的调度器 ；

当前的使用的默认作业调度算法，多用户的调度器，分别为公平调度器和容量调度器。

Ⅰ 公平调度器 ：

目标就是让每个用户 公平共享集群 ；

当只有一个任务时，这个任务就会占有集群全部的资源。新增加一个任务时，会分配时间片来执行此任务。每个任务占有一半的集群资源。每增加一个任务，就会重新分配集群资源。这个特性让小作业在合理的时间内完成的同时又不“饿”到消耗较长时间的大作业。

改进点1：可以用map和reduce的任务槽数来定制作业池的最小容量，也可以 设置每个池的权重 。

改进点2：支持抢占机制；如果一个池在特定的时间内未能完成公平资源的共享，就会终止占有大量的作业任务，把资源分配到占有资源较小的作业任务。

Ⅱ 容量调度器

采用的机制：集群有 多个队列 组成，在每个队列内部，作业根据 FIFO（依靠优先级决定） 进行调度；

本质上：容量调度器允许用户或组织为每个用户或组织模拟出一个FIFO调度策略的独立MapReduce集群。