一、调度器
1.调度器的分类
FIFO、Capacity Scheduler 和 Fair Scheduler
yarn-default.xml
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
1.1 FIFO调度器
特点:单队列,先到先服务
弊端: 如果队首有一个资源需求大的Job,所需的资源没有得到满足!此时后续的Job都需要等待!
资源利用率低!
1.2 容量调度器
特点: 容量。集群资源利用率高!满足不同类型Job和用户的需求!默认调度器!
- 每个队列可以设置占用集群资源容量的最低和最高限制
- 限制每个用户或每个Job使用资源的限制
- 队列中多余的资源可以匀给其他队列使用
多个队列!队列内部FIFO(先到先服务)!
测试:
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /mapjoin /output2
默认情况提交时,所有的Job都会提交到default,取决于mapred-default.xml
mapreduce.job.queuename=default
设置容量调度器为多个队列:
修改$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml
不需要重启YARN,执行
yarn rmadmin -refreshQueues
提交Job到不同的队列:
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount -Dmapreduce.job.queuename=a /input /output
1.3 公平调度器
公平调度器是在容量调度器的基础上开发的!
区别:调度的策略不同! 容量调度器在队列内部FIFO进行调度!
公平调度器,基于最大最小公平算法,默认基于内存进行计算,为当前队列中所有的待运行的Job,
平均地分配资源!
特点: 同一个队列中,小的Job占优势,可以快速地完成,大的job不至于饿死!
二、配置多队列的容量调度器
默认Yarn的配置下,容量调度器只有一条Default队列。在capacity-scheduler.xml
中可以配置多条队列,并降低default队列资源占比:
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,hive</value>
<description>
The queues at the this level (root is the root queue).
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>40</value>
</property>
# 同时为新加队列添加必要属性:
<!--队列目标资源百分比,所有队列相加必须等于100-->
<property>
<name>yarn.scheduler.capacity.root.hive.capacity</name>
<value>60</value>
</property>
<!--队列最大资源百分比-->
<property>
<name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
<value>100</value>
</property>
<!—单用户可用队列资源占比-->
<property>
<name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
<value>1</value>
</property>
<!--队列状态(RUNNING或STOPPING)-->
<property>
<name>yarn.scheduler.capacity.root.hive.state</name>
<value>RUNNING</value>
</property>
<!—队列允许哪些用户提交-->
<property>
<name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
<value>*</value>
</property>
<!—队列允许哪些用户管理-->
<property>
<name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
<value>*</value>
</property>
yarn rmadmin -refreshQueues
不需要重启直接执行此命令
效果如下图:
三、推测执行
1.数据倾斜
MapTask端的数据倾斜: 由切片不均匀造成!
ReduceTask端的数据倾斜: 由分区不均匀造成!