yarn scheduler

yarn的调度器有三种,FIFO,公平调度器,容量调度器。在生产环境中主要使用的是公平调度器与容量调度器,随着这两种调度器功能越来越完善,
两者的功能越来越趋近于一样。如果配置得当,两者都可以实现绝大部分用户所需要的功能。在此,我觉得比较他们的差异性已经没什么必要了,重要的是我们能够配置他们来满足我们生产环境上的需求。
首先,这两种scheduler都有的一些重要功能:
1.支持多级队列,层级队列。适用于多用户共享集群的应用环境
2.控制队列的最大资源(memory, vcores) 、最小资源(memory, vcores) 、公平资源(根据weight),最大app运行数
3.队列内应用可按照fifo,priority(YARN-1963),fair(并行),DRF(并行)运行
4.支持(当队列资源长时间得不到满足时)资源抢占,(当另一个队列不需要那么多资源时)资源借用
5.访问控制ACL:user/group是否有权限提交app到队列,是否有权限管理队列(kill)
6.队列动态创建,配置动态加载

如何配置?在此拿faire scheduler为例:
1.资源池对配置:
1)资源限制:cpu、monory的最大最小限制 最大am的限制
2)计划策略:FIFO DRF FAIRE
3)抢占策略
4)提交访问控制 管理访问控制
2.yarn计划模式:指周一到周五用规则A,周六周末用规则B
3.yarn放置规则:指用户提交的程序运行在哪个队列
1).可根据用户提交时指定的队列specific
2).根据用户名user、有效用户primaryGroup、secondaryGroup等
3).默认队列default

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值