调度器
概念:调度器队列的方式来管理job,队列内部通过某种机制实现job的运行。
原理:每一种调度器中可以有对个队列,但是所有的队列必须在”root”下面root.root,hadoop默认的队列是root.default。
1、容量调度
APACHE:容量调度
名称:capacity.CapacityScheduler
概念:根据当前队列的任务个数与分配资源的比值,选择较小的一个。
策略:默认是FIFO(先进先出),会考虑用户资源和内存的限制,可以自己指定提交到某一个队列
2、公平调度
CDH:公平调度
名称:fair.FairScheduler
概念:所有的job队列平分资源。
策略:job1进入队列->获取该队列的所有资源->等到job2进入->重新平分资源->所有的资源都被平分,限制每个队列job提交个数。