第1节 yarn：14、yarn集群当中的三种调度器

yarn当中的调度器介绍：

第一种调度器：FIFO Scheduler  （队列调度器）

把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。

FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。

 

第二种调度器：capacity  scheduler（容量调度器，apache版本默认使用的调度器）

Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。

 

第三种调度器：Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）

Fair调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设置）。公平调度在也可以在多个队列间工作。举个例子，假设有两个用户A和B，他们分别拥有一个队列。当A启动一个job而B没有任务时，A会获得全部集群资源；当B启动一个job后，A的job会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行，则它将会和B的第一个job共享B这个队列的资源，也就是B的两个job会用于四分之一的集群资源，而A的job仍然用于集群一半的资源，结果就是资源最终在两个用户之间平等的共享

 

使用哪种调度器取决于yarn-site.xml当中的

yarn.resourcemanager.scheduler.class  这个属性的配置

====================================================================

yarn当中的调度器：
解决多个任务一起提交，或者陆续的有任务提交上来，或者多个任务如何并行的情况

第一种调度器：FIFO 队列调度器 先进先出 这种调度方式没有人使用
先给第一个提交的任务分配资源，优先满足第一个任务
存在一个很大的缺陷
有一个大任务：需要30G的内存空间 集群总共内存才20G
又来一个小任务：需要的内存空间 300M 没有资源可分配了，这个任务就不能执行，只能等着

第二种调度方式：capacity Scheduler 容量的调度器
可以对我们集群当中的资源进行划分，划分好几块
可以允许我们多个任务一起同时执行，资源均匀分配
apache的的hadoop默认使用的调度方式

第三种调度方式：Fair Scheduler 公平调度器
CDH版本的hadoop默认使用的调度方式
可以保证任务获取到最大的资源
如果集群总共100G内存
第一个任务提交：把所有的资源都分配给第一个任务 分配给100G
第二个任务提交：如果第一个任务还没有完成，把第一个任务里面的资源分配一块出来给第二个任务，分配30G给第二个任务。

 

转载于:https://www.cnblogs.com/mediocreWorld/p/11042739.html