yarn 调度器 resourcemanager 的 Capacity Scheduler 部分配置说明

因为看的总是绕人,就自己用自己的话写了一份说明,有不对的地方还希望指出

yarn.scheduler.capacity.root.queues            新建队列名
yarn.scheduler.capacity.resource-calculator    资源调度器,默认为:org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator
资源分配配置项:
yarn.scheduler.capacity.<queue-path>.capacity=int    该队列占用总资源的百分比(队列的实际值是可以根据任务状况弹性的由其他队列上获取空闲资源)
yarn.scheduler.capacity.<queue-path>.maximum-capacity=float    该队列的最大容量,若设为-1则禁用该设置,默认为-1(实际为int,可能是官方文档错误)
yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent=int    该队列分配给其用户最少的资源百分比,若设为100,则不做任何用户限制
yarn.scheduler.capacity.<queue-path>.user-limit-factor=float    单个用户最多可以获取的队列容量
运行和应用限制配置项:
yarn.scheduler.capacity.maximum-applications=int    所有队列中的最大任务数(超出的会被强制拒绝)
yarn.scheduler.capacity.<queue-path>.maximum-applications=int    该队列中的最大任务数(可以不设置)
yarn.scheduler.capacity.maximum-am-resource-percent=float    整个集群用于运行任务的资源比例,默认为0.1
yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent    设置该队列运行任务占用整个集群的资源比例(可以不设置)
队列管理配置项:
yarn.scheduler.capacity.<queue-path>.state= RUNNING  or   STOPPED    root若为STOPPED,整合集群不工作(被停止的队列仍然会继续完成它的任务)
yarn.scheduler.capacity.root.<queue-path>.acl_submit_applications=user_name    可以提交给改队列任务的用户名,*为所有用户,不指定同其父队列 
其他优化设置:
yarn.scheduler.capacity.node-locality-delay=int    为错过队列的任务建立局部处理容器,一般设为集群节点数,默认值为40

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值