hadoop 标签调度实战

最新推荐文章于 2024-01-18 02:10:41 发布

weixin_33991727

最新推荐文章于 2024-01-18 02:10:41 发布

阅读量624

点赞数

文章标签：大数据 ui

原文链接：https://juejin.im/post/5b339088f265da596a368452

版权

本文详细介绍了Hadoop中如何进行标签调度的实战配置，包括在RM节点修改`yarn-site.xml`和`capacity-scheduler.xml`配置，启用标签调度，设置队列，并解析了相关参数含义。重启RM后，集群将支持标签调度，接着配置标签信息以完成整个流程。

摘要由CSDN通过智能技术生成

将集群中的节点分门别类，对提交的任务根据需要指定分配到对应分类的集群节点上。

RM节点修改yarn-site.xml配置，修改以下参数。

<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<property>
  <name>yarn.node-labels.enabled</name>
  <value>true</value>
</property>