0426-如何在Cloudera Manager中配置Yarn放置规则

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

---

Hadoop集群管理员希望能对集群Yarn作业的资源进行控制。根据不同的业务组或不同的用户，对Yarn的资源池进行划分，达到资源管控、任务管控的效果。通过CM可以进行Yarn动态资源的配置，这里Fayson主要介绍如何在Cloudera Manager中配置Yarn动态资源池的放置规则。

在这里Fayson主要用一个场景进行描述，在不给作业指定资源池的情况下，通过CM的放置策略将不同的用户提交的作业自动分配到指定的资源池中。

• 内容概述

1.测试环境描述

2.总结

• 测试环境

1.RedHat7.3

2.CM和CDH版本为5.15

2.场景描述

---

实例场景如下：当前CDH集群供多个业务部门使用,在Yarn中为不同的业务组划分不同的资源池，对应业务组的用户作业需要自动的提交到划分的资源池中。如下图所示：

通过上图可以看到有Yarn的资源池中创建3个队列：业务组A、业务组B、default。右边有多个业务组的用户，在用户提交作业时需要根据用户所在的也业务组不同自动为用户分配不通的资源池，接下来Fayson通过具体的Yarn动态资源池放置规则的配置进行实现。

3.测试用户准备

---

在配置前Fayson先准备三个测试用户usera、userc和usere，三个用户的组分别为testa、testb、testc。

1.在CDH集群的所有节点创建testa、testb、testc三个组，testa表示“业务组A”、testb表示“业务组B”、testc不属于任何业务组。

[root@cdh01 shell]# sh ssh_do_all.sh node.list "groupadd testa"
[root@cdh01 shell]# sh ssh_do_all.sh node