大数据之资源调度器Yarn

1、Yarn的基本架构

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

2、Yarn的工作原理

        可以将上图描述为：

       （1）MR程序提交到客户端所在的节点。

       （2）YarnRunner向ResourceManager申请一个Application。

       （3）RM将该应用程序的资源路径返回给YarnRunner。

       （4）该程序将运行所需资源提交到HDFS上。

       （5）程序资源提交完毕后，申请运行mrAppMaster。

       （6）RM将用户的请求初始化成一个Task。

       （7）其中一个NodeManager领取到Task任务。

       （8）该NodeManager创建容器Container，并产生MRAppmaster。

       （9）Container从HDFS上拷贝资源到本地。

       （10）MRAppmaster向RM 申请运行MapTask资源。

       （11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。

       （12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。

       （13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。

       （14）ReduceTask向MapTask获取相应分区的数据。

       （15）程序运行完毕后，MR会向RM申请注销自己。

3、资源调度器

目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

1）FIFO调度
按照时间顺序，先到先服务，在该调度机制下，所有作业被统一提交到一个队列中，Hadoop按照提交顺序依次运行这些作业。效率较低。
2）容量调度器

容量调度器会进行资源的共享，即多余的资源共享给其他的队列使用，当自己需要的时候，在要回来，但会有一个最大最小设置。

总之，Capacity Scheduler 主要有以下几个特点：

①容量保证。管理员可为每个队列设置资源最低保证和资源使用上限，而所有提交到该队列的应用程序共享这些资源。

②灵活性，如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列释放的资源会归还给该队列。这种资源灵活分配的方式可明显提高资源利用率。

③多重租赁。支持多用户共享集群和多应用程序同时运行。为防止单个应用程序、用户或者队列独占集群中的资源，管理员可为之增加多重约束（比如单个应用程序同时运行的任务数等）。

④安全保证。每个队列有严格的ACL列表规定它的访问用户，每个用户可指定哪些用户允许查看自己应用程序的运行状态或者控制应用程序（比如杀死应用程序）。此外，管理员可指定队列管理员和集群系统管理员。

⑤动态更新配置文件。管理员可根据需要动态修改各种配置参数，以实现在线集群管理。

公平调度器（Fair Scheduler）

最大最小算法

不加权

有一四个用户的集合,资源需求分别是2, 2.6 , 4, 5,其资源总能力为10,为其计算最大最小公平分配

解决方法:

我们通过几轮的计算来计算最大最小公平分配.

第一轮,我们暂时将资源划分成4个大小为2.5的.由于这超过了用户1的需求,这使得剩了0.5个均匀的分配给剩下的3个人资源,给予他们每个2.66.这又超过了用户2的需求,所以我们拥有额外的0.066…来分配给剩下的两个用户,给予每个用户2.5+0.66…+0.033…=2.7.因此公平分配是:用户1得到2,用户2得到2.6,用户3和用户4每个都得到2.7.

加权

有一四个用户的集合,资源需求分别是4,2,10,4,权重分别是2.5,4,0.5,1,资源总能力是16,为其计算最大最小公平分配.

解决方法:

第一步是标准化权重,将最小的权重设置为1.这样权重集合更新为5,8,1,2.这样需要的资源是5+8+1+2=16份.因此将资源划分成16份.在资源分配的每一轮,我们按照权重的比例来划分资源,因此,在第一轮,用户分别获得5,8,1,2单元的资源,用户1得到了5个资源,但是只需要4,所以多了1个资源,同样的,用户2多了6个资源.用户3和用户4拖欠了,因为他们的配额低于需求.现在我们有7个资源可以分配给用户3和用户4.他们的权重分别是1和2,给予用户3额外的7 × 1/3资源和用户4额外的7 × 2/3资源.这会导致用户4的配额达到了2 + 7 × 2/3 = 6.666,超过了需求.所以我们将额外的2.666单元给用户3,最终获得1 + 7/3 + 2.666 = 6单元.最终的分配是,4,2,6,4,这就是带权重的最大最小公平分配.

4、容量调度器多队列配置

默认Yarn的配置下，容量调度器只有一条Default队列。在capacity-scheduler.xml中可以配置多条队列，并降低default队列资源占比：例如，可以增加一条hive队列

<!-- 指定多队列 -->

<property>

    <name>yarn.scheduler.capacity.root.queues</name>

   
<value>default,hive</value>

 </property>

<!-- 指定default队列的额定容量 -->

<property>

   
<name>yarn.scheduler.capacity.root.default.capacity</name>

   
<value>40</value>

</property>

<!-- 指定hive队列的额定容量 -->

<property>

   
<name>yarn.scheduler.capacity.root.hive.capacity</name>

   
<value>60</value>

</property>

<!-- 指定default队列允许单用户占用的资源占比 -->

<property>

   
<name>yarn.scheduler.capacity.root.default.user-limit-factor</name>

   
<value>1</value>

</property>

<!-- 指定hive队列允许单用户占用的资源占比-->

<property>

   
<name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>

   
<value>1</value>

</property>

<!-- 指定default队列的最大容量-->

<property>

   
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>

    <value>60</value>

</property>

<!-- 指定hive队列的最大容量-->

<property>

   
<name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>

   
<value>80</value>

</property>

<!-- 指定default队列的状态 -->

<property>

   
<name>yarn.scheduler.capacity.root.default.state</name>

    <value>RUNNING</value>

</property>

<!-- 指定hive队列的状态 -->

<property>

   
<name>yarn.scheduler.capacity.root.hive.state</name>

   
<value>RUNNING</value>

</property>

<!-- 指定default队列允许哪些用户提交job-->

<property>

    <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>

   
<value>*</value>

</property>

<!-- 指定hive队列允许哪些用户提交job-->

<property>

   
<name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>

   
<value>*</value>

</property>

<!-- 指定default队列允许哪些用户进行管理-->

<property>

   
<name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>

   
<value>*</value>

</property>

<!-- 指定hive队列允许哪些用户进行管理-->

<property>

   
<name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>

    <value>*</value>

</property>

<!-- 指定default队列允许哪些用户提交配置优先级的job-->

<property>       
<name>yarn.scheduler.capacity.root.default.acl_application_max_priority</name>

   
<value>*</value>

</property>

<!--指定hive队列允许哪些用户提交配置优先级的job-->

 

<property>

  <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>

   
<value>*</value>

</property>

<!-- 指定default队列允许job运行的最大时间-->

<property>

    
<name>yarn.scheduler.capacity.root.default.maximum-application-lifetime

     </name>

     <value>-1</value>

 </property>

<!-- 指定hive队列允许job运行的最大时间-->

 <property>

    
<name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime

     </name>

    
<value>-1</value>

 </property>

<!-- 指定default队列允许job运行的默认时间-->

 <property>

     <name>yarn.scheduler.capacity.root.default.default-application-lifetime

     </name>

    
<value>-1</value>  

</property>

<!-- 指定hive队列允许job运行的最大时间-->

<property>

    
<name>yarn.scheduler.capacity.root.hive.default-application-lifetime

     </name>

     <value>-1</value>

</property>

具体的配置数据可根据需要，灵活改变。
想hive队列提交任务：
只需要在Driver驱动类中添加配置：

 configuration.set("mapred.job.queue.name", "hive");

5、任务的推测执行

发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。

执行推测任务的前提条件

（1）每个Task只能有一个备份任务

（2）当前Job已完成的Task必须不小于0.05（5%）

（3）开启推测执行参数设置。mapred-site.xml文件中默认是打开的。

<property>

    <name>mapreduce.map.speculative</name>

    <value>true</value>

    <description>If true, then multiple
instances of some map tasks may be executed in parallel.</description>

</property>

 

<property>

    <name>mapreduce.reduce.speculative</name>

    <value>true</value>

    <description>If true, then multiple
instances of some reduce tasks may be executed in parallel.</description>

</property>