Hadoop中Yarn容量资源调度器多队列提交案例

Hadoop中Yarn容量资源调度器多队列提交案例

1.需求

需求1：default队列占总内存的40%，最大资源容量占总资源的60%，hive队列占总内存的60%，最大资源容量占总资源的80%。

2.配置多队列的容量调度器

1）在capacity-scheduler.xml中的配置如下：
(1)修改如下配置：

<!-- 指定多队列，增加hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
</property>
<!-- 降低default队列资源额定容量为40%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>40</value>
</property>
<!-- 降低default队列资源最大容量为60%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>60</value>
</property>

（2）为新队列添加必要属性：

<!-- 指定hive队列的资源额定容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.capacity</name>
    <value>60</value>
</property>

<!-- 用户最多可以使用队列多少资源，1表示 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
    <value>1</value>
</property>

<!-- 指定hive队列的资源最大容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
    <value>80</value>
</property>

<!-- 启动hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.state</name>
    <value>RUNNING</value>
</property>
<!-- 哪些用户有权向队列提交作业 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
    <value>*</value>
</property>

<!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
    <value>*</value>
</property>

<!-- 哪些用户有权配置提交任务优先级 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
    <value>*</value>
</property>

<!-- 任务的超时时间设置：yarn application -appId appId -updateLifetime Timeout
参考资料：https://blog.cloudera.com/enforcing-application-lifetime-slas-yarn/ -->

<!-- 如果application指定了超时时间，则提交到该队列的application能够指定的最大超时时间不能超过该值。 
-->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
    <value>-1</value>
</property>

<!-- 如果application没指定超时时间，则用default-application-lifetime作为默认值 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
    <value>-1</value>
</property>

2)分发配置文件
3）重启Yarn或者执行 yarn rmadmin-refreshQueues 刷新队列，就可以看到两条队列：

yarn rmadmin-refreshQueues

3.向hive队列提交任务

1)hadoop jar 的方式

hadoop jar share/hadoop/mepreduce/hadoop-mepreduce-examples-3.1.3.jar wordcount -Dmepreduce.job.queuename=hive /input /output

-D表示运行时改变参数值

2)打jar包的方式
默认任务提交都是提交到default队列的。如果希望其他队列提交任务，需要在Driver中声明：

public class WcDriver {
	public static void main(String[ ]	args) throws IOException,ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();
		conf.set("mapredure.job.queuename","hive");
		//1. 获取一个Job实例
        Job job = Job.getInstance(conf);
        。。。 。。。
        //6. 提交Job
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

这样这个任务在提交时，就会提交到hive队列：