Fair Scheduler

博学谷提供支持

Fair Scheduler是由Facebook贡献的,是Hadoop上一个可插拔式的调度器,允许YARN应用程序在一个大的集群上公平地共享资源。

公平调度是一种为应用程序分配资源的方法,这样随着时间的推移,所有的应用程序通常都能获得等同的资源份额。

现在YARN能够调度多种资源类型,默认情况下,FairScheduler以内存资源为根据来公平调度。

也可以通过配置支持内存和CPU两种资源,通过Ghodsi等人提出的DRF(Dominant Resource Fairness)策略调度。

当只有一个应用程序在运行时,这个应用程序使用整个集群。

当提交其他的应用程序时,已释放的资源就会被分配给新的应用程序,因此每个应用程序最后都能粗略地获得等量的资源。

与Hadoop默认的调度器维护一个作业队列不同,这个特性让耗时较短的应用程序在合理的时间内完成的同时又不“饿”到耗时较长的应用程序。

它也是一个在多用户间共享集群的有效方法。

最后,公平共享支持应用程序优先级——优先级像权重一样决定每个应用程序应该获得的整体资源的比例。

Fair Scheduler按队列来组织应用程序,这些队列公平地共享资源。默认情况下,所有的用户共享一个单一的队列——default。

如果一个应用程序,在它的资源请求中特别指定一个队列,这个请求就会被提交到相应的队列去。通过配置,还可以支持分配基于包含在请求中用户名的队列。

在每个队列内,使用一个调度策略在运行中的应用程序间共享资源。

默认使用的是基于内存的公平调度策略,但是也可以配置FIFO和使用DRF的多资源调度策略。

Fair Scheduler中队列也是按层级组织来划分资源的,加以分配权重来按一定的比例共享集群。

Fair Scheduler除了支持公平调度外,还允许为队列分配有保证的最小份额,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值