yarn node lables特性

Yarn node lables 特性

基础介绍: YARN Node Lables特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node Label，所以可以使用 Node Label将整个YARN集群划分为不相交的节点集合。默认节点属于DEFAULT分区（partition=“”，空字符串）
简单说一下自己的理解, 正常的情况下 我们的集群是有很多任务使用的 比如 报表任务，数仓任务，实时任务 这个时候就会导致资源的使用比较混乱 所以为了解决这种混乱的情况 我们就需要将 集群中的节点划分开 BI任务有BI的节点资源，数仓任务有数仓任务的节点资源 … 下面开始操作了~~

一：yarn-site.xml

需要修改yarn-site.xml文件 将 node lables 的开关打开 新增配置项如下
yarn.node-labels.enabled = true
yarn.node-labels.fs-store.root-dir = “具体可自行设置为hdfs目录存放日志用”
重启 resourcemanager

二：登录服务器

1：切换集群的管理员账户 su hadoop
2：添加分区 yarn rmadmin -addToClusterNodeLabels “TASK”
3：列出 资源列表 yarn node -list
4：配置指定节点分区映射 yarn rmadmin -replaceLabelsOnNode “core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=TASK”
执行成功后，可以在ResourceManager Web UI验证结果。

三：创建新的队列 capacity-scheduler.xml

本人在这里也是来回的踩坑，默认只有default队列，可根据自己的需要创建队列 , 我这边创建的队列是task

<!-- 指定多队列，增加task队列 -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,task</value>
</property>

<!-- 降低default队列资源额定容量为20%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>20</value>
</property>

<!-- 降低default队列资源额定容量为20%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>20</value>
</property>

<!-- 下面是新增配置项 -->
<property>
    <!-- 配置default队列可访问TASK分区，必须 -->
    <name>yarn.scheduler.capacity.root.task.accessible-node-labels</name>
    <value>TASK</value>
</property>
<property>
    <!-- 配置default队列所有祖先队列TASK分区容量，必须 -->
    <name>yarn.scheduler.capacity.root.accessible-node-labels.TASK.capacity</name>
    <value>100</value>
</property>
<property>
    <!-- 配置default队列在TASK分区容量，必须 -->
    <name>yarn.scheduler.capacity.root.task.accessible-node-labels.TASK.capacity</name>
    <value>100</value>
</property>
<property>
    <!-- 配置default队列在TASK分区最大容量，可选，默认为100 -->
    <name>yarn.scheduler.capacity.root.task.accessible-node-labels.TASK.maximum-capacity</name>
    <value>100</value>
</property>
<property>
    <!-- 配置default队列作业容器请求默认提交分区，可选，默认为DEFAULT分区"" -->
    <name>yarn.scheduler.capacity.root.task.default-node-label-expression</name>
    <value>TASK</value>
</property>

保存之后 热更新 resourmanager 命令为: yarn rmadmin -refreshQueues
完成之后可在yarn页面查看 状态