yarn任务调度策略

为什么80%的码农都做不了架构师？>>>   

1. yarn几种调度简介
   Yarn 调度器Scheduler详解
2. fair scheduler详解
   fair scheduler每一项配置详解：Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数
   官网关于fair scheduler配置详解：Hadoop MapReduce Next Generation - Fair Scheduler 在cloudera manager中，默认启用的就是fair scheduler，抢占机制也会帮你开启，只需要在配置项" Fair Scheduler XML 高级配置代码段（安全阀）"修改你的fair scheduler配置文件即可。可以配置成如下内容：

<allocations>
  <queue name="root">
    <minResources>5120mb,5 vcores</minResources>
    <maxResources>32768mb,32 vcores</maxResources>
    <maxRunningApps>20</maxRunningApps>
    <minSharePreemptionTimeout>30</minSharePreemptionTimeout>
	<fairSharePreemptionTimeout>30</fairSharePreemptionTimeout>
    <weight>1.0</weight>
    <aclSubmitApps>*</aclSubmitApps> 
    <aclAdministerApps>root,bigdata</aclAdministerApps>
	<fairSharePreemptionTimeout>6000</fairSharePreemptionTimeout>
    <queue name="main-queue">
       <minResources>20480 mb, 16 vcores</minResources>
       <maxResources>32768 mb, 32 vcores</maxResources>
    </queue>    
	<queue name="bigdata">
      <minResources>5120 mb,5 vcores</minResources>
      <maxResources>20480 mb,24 vcores</maxResources>
    </queue>
	<queue name="anonymous">
      <minResources>5120 mb,5 vcores</minResources>
      <maxResources>20480 mb,24 vcores</maxResources>
    </queue>
  </queue>
</allocations>

1. 相关知识点

• 资源抢占（Preemption）
  当一个job提交到一个繁忙集群中的空队列时，job并不会马上执行，而是阻塞直到正在运行的job释放系统资源。为了使提交job的执行时间更具预测性（可以设置等待的超时时间），Fair调度器支持抢占。抢占就是允许调度器杀掉占用超过其应占份额资源队列的containers，这些containers资源便可被分配到应该享有这些份额资源的队列中。需要注意抢占会降低集群的执行效率，因为被终止的containers需要被重新执行。可以通过设置一个全局的参数yarn.scheduler.fair.preemption=true来启用抢占功能。此外，还有两个参数用来控制抢占的过期时间（这两个参数默认没有配置，需要至少配置一个来允许抢占Container）： minimum share preemption timeout，fair share preemption timeout
  如果队列在minimum share preemption timeout指定的时间内未获得最小的资源保障，调度器就会抢占containers。我们可以通过配置文件中的顶级元素<defaultMinSharePreemptionTimeout>为所有队列配置这个超时时间；我们还可以在<queue>元素内配置<minSharePreemptionTimeout>元素来为某个队列指定超时时间。
  与之类似，如果队列在fair share preemption timeout指定时间内未获得平等的资源的一半（这个比例可以配置），调度器则会进行抢占containers。这个超时时间可以通过顶级元素<defaultFairSharePreemptionTimeout>和元素级元素<fairSharePreemptionTimeout>分别配置所有队列和某个队列的超时时间。上面提到的比例可以通过<defaultFairSharePreemptionThreshold>(配置所有队列)和<fairSharePreemptionThreshold>(配置某个队列)进行配置，默认是0.5。
• 设置hive的mapreduce任务提交的队列
  在cloudera manager中，设置hive的配置项" hive-site.xml 的 Hive 服务高级配置代码段（安全阀）"，配置如下属性：

<property>
    <name>mapred.job.queue.name</name>
    <value>bigdata</value>
</property>

转载于:https://my.oschina.net/cjun/blog/779070