题目:Yarn调度器
答案:
1.Hadoop调度器重要分为三类:
FIFO、Capacity Scheduler(容量调度器)和Fair Scheduler(公平调度器)。
Apache默认的资源调度器是容量调度器
CDH默认的资源调度器是公平调度器
2.区别
(1)FIFO调度器:支持单队列、先进先出、生产环境不会用
(2)容量调度器:支持多队列,保证先进入的任务优先执行
(3)公平调度器:支持多队列,保证每个任务公平享有队列资源
3.在生产环境下如何选择:
(1)大厂:如果对并发度要求比较高,选择公平,要求服务器性能必须OK
(2)中小公司:集群服务器资源不太充足就选择容量调度器
4.在生产环境怎么创建队列:
(1)调度器默认就1个default队列,不能满足生产要求
(2)按照框架:hive/spark/flink每个框架的任务放入指定的队列(企业用的不是特别多)
(3)按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2
5.创建多队列的好处
(1)因为担心员工不小心,写递归死循环代码,把所有资源全部耗尽
(2)实现任务的降级使用,特殊时期保证重要的任务队列资源充足
业务部门1(重要)->业务部门2(比较重要)->下单(一般)->购物车(一般)->登录注册(次要)