hadoop 高级 | hadoop队列管理与资源隔离

最新推荐文章于 2024-07-10 18:18:15 发布

小哲嗨数

最新推荐文章于 2024-07-10 18:18:15 发布

阅读量2.9k

点赞数 1

分类专栏：【Hadoop】文章标签： hadoop 管理队列

本文链接：https://blog.csdn.net/ganzheyu/article/details/80356554

版权

本文详细介绍了Hadoop中CapacityScheduler的配置与使用，包括队列的创建、属性设置、任务优先级调整以及如何在Hive等组件中应用队列管理。重点讨论了队列的容量保证、安全性和弹性，并提供了配置示例。

摘要由CSDN通过智能技术生成

功能点
配置
- 配置ResouceManager使用CapacityScheduler
- 设置队列
- 队列属性
- 队列属性配置
- 修改配置文件
- 设置任务的优先级
其他组件使用hadoop队列
- Hive
补充
参考

功能点

Hierarchical Queues(队列可分层)
Capacity Guarantees
Security(安全性)
Elasticity
Multi-tenancy
Operability
Resource-based Scheduling
Queue Mapping based on User or Group: 可以基于用户或用户组分配队列；
Priority Scheduling(优先级):

配置

配置ResouceManager使用CapacityScheduler

修改conf/yarn-site.xml文件

属性	值
yarn.resourcemanager.scheduler.class	org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

设置队列

修改capacity-scheduler.xml配置文件.

属性	值
yarn.scheduler.capacity.root.queues	default, batch

  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,batch</value>
    <description>The queues at the this level (root is the root queue).</description>
  </property>

其中默认有default队列，现添加queues11队列。

队列属性

yarn.scheduler.capacity.root.default.capacity：一个百分比的值，表示占用整个集群的百分之多少比例的资源，这个queue-path下所有的capacity之和是100
yarn.scheduler.capacity.root.default.user-limit-factor：每个用户的低保百分比，比如设置为1，则表示无论有多少用户在跑任务，每个用户占用资源最低不会少于1%的资源
yarn.scheduler.capacity.root.default.maximum-capacity：