Hadoop 配置多队列的容量调度器及优先级配置

Hadoop 配置多队列的容量调度器及优先级配置

版本： hadoop-3.1.3
需求 1：default 队列占总内存的 40%，最大资源容量占总资源 60%，hive 队列占总内存的 60%，最大资源容量占总资源 80%。
需求 2：配置队列优先级

1 配置多队列的容量调度器

1.1 在 capacity-scheduler.xml 中配置如下

注意:可能因为中文原因,yarn启动失败,可将中文注释去掉重启

1. 修改

<!-- 指定多队列，增加 hive 队列 -->
<property>
 <name>yarn.scheduler.capacity.root.queues</name>
 <value>default,hive</value>
 <description>
   The queues at the this level (root is the root queue).
 </description>
</property>

<!-- 降低 default 队列资源额定容量为 40%，默认 100% -->
<property>
 <name>yarn.scheduler.capacity.root.default.capacity</name>
 <value>40</value>
</property>

<!-- 降低 default 队列资源最大容量为 60%，默认 100% -->
<property>
 <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
 <value>60</value>
</property>

2. 为新加队列添加必要属性

<!-- 指定 hive 队列的资源额定容量 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.capacity</name>
 <value>60</value>
</property>

<!-- 用户最多可以使用队列多少资源，1 表示 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
 <value>1</value>
</property>

<!-- 指定 hive 队列的资源最大容量 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
 <value>80</value>
</property>

<!-- 启动 hive 队列 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.state</name>
 <value>RUNNING</value>
</property>

<!-- 哪些用户有权向队列提交作业 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
 <value>*</value>
</property>

<!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
<property>
 <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
 <value>*</value>
</property>

<!-- 哪些用户有权配置提交任务优先级 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
 <value>*</value>
</property>

<!-- 任务的超时时间设置：yarn application -appId appId -updateLifetime Timeout
参考资料： https://blog.cloudera.com/enforcing-application-lifetime-slasyarn/ --> 
<!-- 如果 application 指定了超时时间，则提交到该队列的 application 能够指定的最大超时时间不能超过该值-->
<property>
 <name>yarn.scheduler.capacity.root.hive.maximum-applicationlifetime</name>
 <value>-1</value>
</property>

<!-- 如果 application 没指定超时时间，则用 default-application-lifetime 作为默认值 -->
<property>
 <name>yarn.scheduler.capacity.root.hive.default-applicationlifetime</name>
 <value>-1</value>
</property>

1.2 分发配置文件，刷新队列

yarn rmadmin -refreshQueues

1.3 向Hive队列提交任务

1. 指令方式

# -D mapreduce.job.queuename=hive 表示提交到hive队列中
[develop@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -D mapreduce.job.queuename=hive /input /output

2. 代码指定队列(伪代码)

Configuration conf = new Configuration();   
// 设置提交指定队列
conf.set("mapreduce.job.queuename","hive");   
//1. 获取一个Job实例  
Job job = Job.getInstance(conf);   
.......   
//6. 提交Job  boolean b = job.waitForCompletion(true);  
System.exit(b ? 0 : 1);

2 任务优先级配置

容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。

2.1 yarn-site.xml文件，增加以下参数

<!-- 提交任务过程,值越高优先级越大 -->
<property>  
  <name>yarn.cluster.max-application-priority</name>  
  <value>5</value> 
</property>

2.2 将yarn-site.xml集群其他节点，重启Yarn

2.3 提交任务设置优先级

# -D mapreduce.job.priority=5 设置有优先为5
hadoop jar /opt/module/hadoop3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -D mapreduce.job.priority=5 5 2000000 

2.4 修改正在执行的任务的优先级

# yarn application -appID <ApplicationID> -updatePriority 优先级
yarn application -appID application_1611133087930_0009 -updatePriority 5