目前,Hadoop作业调度器主要有三种:FIFO(先进先出调度器)、Capacity Scheduler(容量调度器)和Fair Scheduler(公平调度器)。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。其配置位置在yarn-default.xml文件中。
The class to use as the resource scheduler.
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
[](()资源调度器分类
[](()FIFO(先进先出调度器)
示意图:
1.有新的服务器节点资源
2.Job1里面包含4个MapTask和2个ReduceTask
3.分配一个Task给该节点
[](()Capacity Scheduler(容量调度器)
示意图: