yarn nodes label (yarn 划分子集群)

yarn node labels 特性
给节点打标签可以把特性类似的节点分成一组,这样可以指定特定的应用
执行在特定的机器群上.
现在我们只支持节点划分,
1.一个节点仅能有一个节点划分,即一个节点只能打一个标签.
这样一个集群就可以被划分成多个不相交的子集群,默认的
,节点属于一个叫default的分区.
2.用户需要配置不同的队列可以使用分区中的多少资源.
3.分区有两种类别:
a.独占 : 作业容器分配给完整匹配标签的节点上运行.
例如,作业分配给queue=a a队伍可以使用partition="x"的节点.
则只能分配标签为x的节点来运行容器.
b.非独占:如果一个分区是非独占的,它空闲的时候,可以被其他队列的
作业分配来使用.

特性:
节点标签现支持如下的特性:
1.划分集群 每一个节点可以分配一个标签,这样集群就被逻辑上划分成了
几个类似的不相交的子集群.
2.队列可以指定享用子集群多少的资源
例如queuea 可以访问百分之三十label=hbase的资源

配置方式有三种,
1.集中化配置
节点和标签的对应关系通过RM的CLI,REST,RPC来处理,保存在RM端
2.分布式
节点与标签的对应关系将通过节点标签提供器来设置在nm,我们可以通过
脚本或直接配置在yarn-seit.xml中.而且可以动态地刷新.
3.代理集中式
因安全考虑,为了避免直接与RM的接口交互.可以配置一个代理来完成这些事.
更多详细请查看:
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeLabel.html

转载于:https://www.cnblogs.com/huaxiaoyao/p/7530648.html