YARN Node Labels创建记录

YARN Node Labels配置

1修改配置文件yarn-site.xml

  <property>
        <name>yarn.node-labels.enabled</name>
        <value>true</value>
        <description>相当于开启标签</description>
    </property>
  <property>
     <name>yarn.node-labels.fs-store.root-dir</name>
     <value>hdfs://hdfs路径/yarn/node-labels</value>
     <description>标签数据在HDFS上的存储位置</description>
  </property>

2，创建nodelabels

创建nodelabels

#创建了三个资源池
yarn rmadmin -addToClusterNodeLabels test1,test2,test3  

注意yarn rmadmin -addToClusterNodeLabels area0,area1,area2只负责创建，这时候的test1，test2，test3是不可以使用的

对应的label中添加node节点

添加之前查看你的yarn-site.xml的yarn.nodemanager.address属性配置端口

    <property>
        <name>yarn.nodemanager.address</name>
        <value>0.0.0.0:23998</value>
    </property>

这里配置hostname或者ip都行 端口一定要正确

yarn rmadmin -replaceLabelsOnNode hostname:23998,test1
yarn rmadmin -replaceLabelsOnNode ip:23998,test2
yarn rmadmin -replaceLabelsOnNode hostname:23998,test3

查看

上面创建时候会创建相同名称的资源队列
基础配置相当于完成，但是此时还是不可以使用的可以在nodemanager界面查看你的队列

3，计算资源队列进行开启使用capacity-scheduler.xml

简略配置，这个网上很多

  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,test1,test2,test3</value>>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>50</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test1.capacity</name>
    <value>25</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test2.capacity</name>
    <value>15</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test3.capacity</name>
    <value>10</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test1.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test2.maximum-capacity</name>
    <value>100</value>
  </property>