Yarn 2.8.x 基于标签的调度

最新推荐文章于 2024-07-09 10:03:13 发布

tomson8975

最新推荐文章于 2024-07-09 10:03:13 发布

阅读量4.5k

点赞数

分类专栏： yarn

本文链接：https://blog.csdn.net/tomson8975/article/details/52412126

版权

本文档介绍了Yarn 2.8.x版本中基于标签的调度特性，包括配置、管理标签的方法以及应用场景。目前版本不支持标签表达式和某些用户限制，但提供资源隔离和共享。配置涉及启用标签、设置标签目录、修改capacity-scheduler.xml。管理标签可通过添加、查看、分配和删除节点标签。资源模式分为非共享和共享，适用于不同场景。

摘要由CSDN通过智能技术生成

前言：

基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。

该特性开发现状：

如何配置：

在hdfs上创建用于保存label相关数据的目录（相关数据后期有Patch改为用zk存储）。
1. hdfs dfs -mkdir /xxx/xxx/node-label/
2. hdfs dfs -chown yarn:yarn /xxx/xxx/node-label/
3. hdfs dfs -chmod 700 /xxx/xxx/node-label/

在yarn-site.xml文件中配置：

```
yarn.node-labels.enabled=true
```

yarn.node-labels.fs-store.root-dir=/xxx/xxx/node-label

yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

配置capacity-scheduler.xml（后面详解）

如何管理标签：

添加标签：

              yarn rmadmin -addToClusterNodeLabels "<label1>(exclusive=<true|false>),<label2>(exclusive=<true|false>)"

说明：exclusive是指该标签管理的资源是否允许分享资源给default分区的任务。

查看添加的标签：

              yarn cluster --list-node-labels

给机器添加标签：

              yarn rmadmin -replaceLabelsOnNode "<node1>:<port>=<label1> <node2>:<port>=<label2>"

说明：1.node1处必须填写域名。2.如果“=label1“处为空，即表示重设机器标签为空。3.port处为空，即表示设置该机器上所有nm的标签。

删除标签：

yarn rmadmin -removeFromClusterNodeLabels "x","y"

配置capacity-scheduler.xml：

 
          <property> 
         
          <name>yarn.scheduler.capacity.root.queues</name> 
         
          <value>a,b</value> 
         
          </property> 
         
          说明：集群有多少队列 
         
          <property> 
         
          <name>yarn.scheduler.capacity.root.accessible-node-labels.x.capacity</name> 
         
          <value> 
          100 
          </value> 
         
          </property>