[hadoop]yarn调度器

1.hadoop的调度器主要分为3类：

FIFO，Capacity Scheduler（容量调度器）和Fair Scheduler（公平调度器）。

2.区别：

1)FIFO调度器：支持单队列，先进先出.

它的缺点是大的应用会占用所有的集群资源,导致其他应用被阻塞.生产环境不会用.

2)容量调度器:分多个队列每个队列执行FIFO.

缺点是如果某队列没有任务,但是它的资源也不会释放,会导致资源的浪费.

3)公平调度器：支持多队列，保证每个任务公平享有队列资源。

job1进来的时候享有集群的所有资源,job2进来之后,job1会释放一半的资源给job2,两个job会并行执行,等job2运行结束,job1又会用有整个集群资源.

3.在生产环境怎么选择？

大厂：如果并发度要求比较高，选择公平调度器，要求服务器性能必须ok。

中小公司：服务器资源不太充裕，选择容量。

4.在生产环境怎么创建队列？

小时任务hive1,天任务hive2,平常一些查询一般用hive2,因为天任务基本早上之前跑完.