容量调度器多队列
初始的调度器默认就 1 个 default 队列,不能满足生产要求。可以按照业务模块:登录注册、购物车、下单、业务部门 1、业务部门 2
多队列的好处
- 避免写出写递归死循环代码,把所有资源全部耗尽。
- 实现任务的降级使用,特殊时期保证重要的任务队列资源充足。
任务优先级
容量调度器,支持任务优先级的配置,在资源紧张时,优先级高的任务将优先获取资源。
默认情况,Yarn 将所有任务的优先级限制为 0,若想使用任务的优先级功能,须开放该限制。
重点
- 工作机制
- 调度器:FIFO/容量/公平,apache默认调度器是容量,CDH默认调度器是公平。
- 容量/公平调度器默认一个队列,满足不了生产要求,需要创建多队列。一般按照业务模块创建队列。
- 调度器的相同点:支持多队列,可以借资源,支持多用户。
- 调度器的不同点:容量调度器优先满足先进来的任务执行(把任务分配给队列这一环节按照谁占用率低分给谁);公平调度器在队列里面的任务公平享有队列资源。