YARN资源管理与任务调度

1.1 $YARN$的架构

1.1.1 功能

• 分布式资源管理与任务调度框架。
• 资源管理：将整个集群的所有机器的$CPU$和内存进行统一化管理
  • 每一台机器运行程序时，使用多少资源，都由$YARN$进行分配
• 任务调度：当有多个任务一起提交时，资源的分配和任务的优先级

1.1.2 架构

主从架构

• 主节点：$resourcemanager$
  • 接收所有任务的提交
  • 管理所有的从节点
  • 全局集群的资源管理和任务调度
  • 每个$nodemanager$运行所有程序能够使用的资源
• 从节点：$nodemanager$
  • 启动程序的运行环境：计算进程
  • 使用以及管理这台机器的资源，每个程序再这台机器能使用多少。

1.2 $YARN$的任务运行流程

1.2.1 架构图

1.2.2 架构说明

1. 客户端向$yarn$提交$Job$，首先找到$resourcemanager$主节点分配资源。
2. $resourcemanager$开启一个$Container$，再$Container$中运行一个$Application$ $Manager$，并且随机找一台$nodemanager$启动$Application$ $Master$来管理这个$job$。
3. $Application$ $Master$向$Resourc$e $Scheduler$申请资源和指令。
4. $Resouce$ $Scheduler$把需要用到的资源和指令封装发送给$Application$ $Master$
5. $Application$ $Master$ 将获取到的资源分配给各个$nodemanager$，$nodemanager$根据资源和指令启动$MapTask$任务
6. $MapTask$任务运行完成后给$Application$ $Master$进行汇报
7. $Application$ $Master$通知$ReduceTask$去$MapTask$中拉取数据
8. $ReduceTask$去所有的$MapTask$中拉取自己分区的数据，进行聚合。
9. $ReduceTask$运算完成后，给$Application$ $Master$汇报结果
10. $Application$ $Master$再把计算结果汇总到$Application$ $Manager$中。

1.3 组件介绍

• $Application$ $Manager$ ：整个$YARN$中所有应用的管理者
• $Resource$ $Scheduler$：负责整个$YARN$集群的资源分配
  • 返回信息是$Container$
  • 这个程序由哪些机器执行，每台机器能使用的内存和$CPU$,每台机器要执行的指令任务
• $Application$ $Master$ ：负责管理运行的程序
  • 资源的申请和向所有$nodemanager$分配计算任务
  • 监控所有的$MapTask$和$reduceTask$，保证所有的$Task$都运行成功过
    • 如果由$Task$失败，会重新分配这个任务。

1.4 $YARN$的资源分配配置

资源分配由配置再$yarn-site.xml$的参数决定

配置属性	含义	默认值
$yarn.nodemanager.resource.memory-mb$	每台$NodeManger$能够使用的最大物理内存数	$8192M$
$yarn.nodemanager.resource.cpu-vcores$	每台$NodeManger$能够使用的最大物理$CPU$核数	$8$个
$yarn.scheduler.minimum-allocation-mb$	每个应用最少申请的内存	$1024M$
$yarn.scheduler.maximum-allocation-mb$	每个应用最多申请的内存	$8192M$
$yarn.scheduler.minimum-allocation-vcores$	每个应用最少申请的$CPU$核数	$1$个
$yarn.scheduler.maximum-allocation-vcores$	每个应用最多申请的$CPU$核数，这个值一般等于最大申请内存的$GB$值	$32$
$yarn.nodemanager.vmem-pmem-ratio$	虚拟内存和真实物理内存的比率	$2.1$
$yarn.nodemanager.pmem-check-enabled$	关闭物理内存检查	$false$
$yarn.nodemanager.vmem-check-enabled$	关闭虚拟内存检查	$false$

1.5 YARN的任务调度

• $FIFO$：先进先出

  • 单队列实现，单个队列拥有整个$YARN$的所有资源
  • 程序先提交就享有当前所有的资源，只有等当前程序运行结束，后面的下一个程序才开始运行

• $Capacity$：容量调度$<Apache默认的调度机制>$

  • 多队列的并行，每个队列内部还是$FIFO$
  • 为每个队列分配固定的资源，当程序运行时，提交到那个队列，就享有这个队列的所有资源
  • 资源动态抢占，当前的队列资源不足的时候，其他队列资源空闲，可以进行调用。
  • $yarn-site.xml$的参数为：$yarn.resourcemanager.scheduler.class$，参数值为：$org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler$

• $Fair$：公平调度$<CDH版本默认的调度机制>$

  • 多队列并行的，并且每个队列内部是可以进行程序并发，队列中的资源共享。
  • 支持资源抢占
  • 可以分配队列的优先级
  • $yarn-site.xml$的参数为：$yarn.resourcemanager.scheduler.class$，参数值为：$org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchedule$

• 公平调度对应的参数

  属性名称	含义	值
  $yarn.scheduler.fair.allocation.file$	指定公平调度的配置文件	$etc/hadoop/fair-scheduler.xml$
  $yarn.scheduler.fair.user-as-default-queue$	没有指定队列名时，是否使用用户名作为队列名称	$true$
  $yarn.scheduler.fair.preemption$	是否允许资源抢占	$true$
  $yarn.scheduler.fair.preemption.cluster-utilization-threshold$	最大抢占比例	$0.8$
  $yarn.scheduler.fair.sizebasedweight$	是否启用权重	$true$
  $yarn.scheduler.fair.assignmultiple$	是否允许分配多个container	$true$
  $yarn.scheduler.fair.max.assign$	如果允许，最多分配多少个	$20$
  $yarn.scheduler.fair.locality.threshold.node$	放弃等待优先本地计算的节点比例，-1表示都不放弃	$-1$
  $yarn.scheduler.fair.locality.threshold.rack$	放弃等待优先机架计算的节点比例，-1表示都不放弃	$-1$
  $yarn.scheduler.fair.allow-undeclared-pools$	是否允许创建未定义的队列	$true$
  $yarn.scheduler.fair.update-interval-ms$	表示重新计算公平调度的间隔，单位毫秒	$500$

  • 公平调度对应的配置文件

  
      <?xml version="1.0"?>
  <allocations>
      <queue name="sample_queue">
        <minResources>10000 mb,0vcores</minResources>
        <maxResources>90000 mb,0vcores</maxResources>
        <maxRunningApps>50</maxRunningApps>
        <maxAMShare>0.1</maxAMShare>
        <weight>2.0</weight>
        <schedulingPolicy>fair</schedulingPolicy>
        <queue name="sample_sub_queue">
          <aclSubmitApps>charlie</aclSubmitApps>
          <minResources>5000 mb,0vcores</minResources>
        </queue>
      </queue>
    
      <queueMaxAMShareDefault>0.5</queueMaxAMShareDefault>
    
      <!—- Queue 'secondary_group_queueue' is a parent queue and may have
           user queues under it -->
      <queue name="secondary_group_queue" type="parent">
      <weight>3.0</weight>
      </queue>
      
      <user name="sample_user">
        <maxRunningApps>30</maxRunningApps>
      </user>
      <userMaxAppsDefault>5</userMaxAppsDefault>
      
      <queuePlacementPolicy>
        <rule name="specified" />
        <rule name="primaryGroup" create="false" />
        <rule name="nestedUserQueue">
            <rule name="secondaryGroupExistingQueue" create="false" />
        </rule>
        <rule name="default" queue="sample_queue"/>
      </queuePlacementPolicy>
  </allocations>
    ```