12-Yarn调度器

题目:Yarn调度器


答案:

1.Hadoop调度器重要分为三类:
FIFO、Capacity Scheduler(容量调度器)和Fair Scheduler(公平调度器)。
Apache默认的资源调度器是容量调度器
CDH默认的资源调度器是公平调度器

2.区别
(1)FIFO调度器:支持单队列、先进先出、生产环境不会用
(2)容量调度器:支持多队列,保证先进入的任务优先执行
(3)公平调度器:支持多队列,保证每个任务公平享有队列资源

3.在生产环境下如何选择:
(1)大厂:如果对并发度要求比较高,选择公平,要求服务器性能必须OK
(2)中小公司:集群服务器资源不太充足就选择容量调度器

4.在生产环境怎么创建队列:
(1)调度器默认就1个default队列,不能满足生产要求
(2)按照框架:hive/spark/flink每个框架的任务放入指定的队列(企业用的不是特别多)
(3)按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2

5.创建多队列的好处
(1)因为担心员工不小心,写递归死循环代码,把所有资源全部耗尽
(2)实现任务的降级使用,特殊时期保证重要的任务队列资源充足
业务部门1(重要)->业务部门2(比较重要)->下单(一般)->购物车(一般)->登录注册(次要)


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值