一:调度器总结
目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。
具体设置详见:yarn-default.xml文件
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
既然容器调度是默认的,那就在这里说一说容量调度器,
1:它支持多个队列,每个队列都配备一定的资源量,每个对列都采用FIFO调度策略
2:为了避免同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定