YARN 的调度选项

    YARN 中有三种调度器:

1. FIFO 调度器 (FIFO Scheduler)

    应用在一个队列中,按照提交的顺序运行应用。

    缺点:小作业如果在大作业后面提交,将会一直等到大作业结束才运行。

2. 容量调度器 (Capacity Scheduler)

    有一个独立的专门队伍保证小作业一提交就可以启动。也就是集群会保留一定的资源。大作业无法获取全部集群资源。

3. 公平调度器 (FAIR Scheduler )

    不需要预留一定的资源,调度器会在所有运行的作业之间动态平衡资源。如果一个大作业启动时,它也是唯一运行的作业时,会获得集群中的所有资源。当第二个小作业启动时,它被分配到集群的一半资源,这样每个作业都能公平共享资源。

转载于:https://www.cnblogs.com/langfanyun/p/10677821.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值