Hadoop 3.x|第十八天|Yarn框架(多队列,总结)

容量调度器多队列

初始的调度器默认就 1 个 default 队列,不能满足生产要求。可以按照业务模块:登录注册、购物车、下单、业务部门 1、业务部门 2

多队列的好处

  1. 避免写出写递归死循环代码,把所有资源全部耗尽。
  2. 实现任务的降级使用,特殊时期保证重要的任务队列资源充足。

任务优先级

容量调度器,支持任务优先级的配置,在资源紧张时,优先级高的任务将优先获取资源。
默认情况,Yarn 将所有任务的优先级限制为 0,若想使用任务的优先级功能,须开放该限制。

重点

  1. 工作机制
  2. 调度器:FIFO/容量/公平,apache默认调度器是容量,CDH默认调度器是公平。
  3. 容量/公平调度器默认一个队列,满足不了生产要求,需要创建多队列。一般按照业务模块创建队列。
  4. 调度器的相同点:支持多队列,可以借资源,支持多用户。
  5. 调度器的不同点:容量调度器优先满足先进来的任务执行(把任务分配给队列这一环节按照谁占用率低分给谁);公平调度器在队列里面的任务公平享有队列资源。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值