YARN 对集群的资源调度

一. YARN 资源管理

• 资源调度和资源管理 隔离是YARN 作为一个资源管理的系统，最重要和最基础的两个功能。资源调度有ResourceManager 完成，而资源隔离由各个NodeManager 实现
• ReourceManager 将某个NodeManager 上的资源分配给任务（这个就是所谓的资源调度）后，NodeManager 需按照要求为任务提供响应的资源，甚至保证这些资源应具有独占性，为任务提供基础的保证，这个就是所谓的资源隔离
• 当谈到资源时，我们通常指内存，CPU和IO三种资源。Hadoop YARN 同时支持内存和CPU两种模式的资源调度
• 内存资源多少会决定任务的生死，如果内存不够，任务可能会运行失败；相比之下，cpu 资源则不同，它只会决定任务行的快慢不会决定任务运行的生死

二. YARN 内存资源配置

• YRAN 允许用户配置每个电商上可用的物理内存资源，请注意这里是可用的，因为一个节点上的内存会被若干个服务共享，比如一部分分给了YARN 一部分分给了HDFS， 一部份分给了hbsae等等YARN 配置的只是自己可以使用的 下面给出一些配置参数：
  1. yarn.nodemanager.resource.memory-mb
     表示该节点上的YARN 可以使用的物理内存的总量，默认8192（MB） 注意如果，如果你的节点内存资源不足8GB 时则需要调减小这个值，而YARN 本身不会智能探测节点的物理内存总量
  2. yarn.nodemanager.vmem-pmem-ratio
     任务每次使用1MB 最多可使用虚拟内存量 默认2.1
  3. yarn.nodemanager.pmem-check-enabled
     启动一个线程检查每个任务正在使用的物理内存量，如果任务超出分配值直接kill 默认为true
  4. yarn.nodemanager.vmem-check-enabled
     启动一个线程检查每个任务正在使用的虚拟内存量，如果任务超出分配值直接kill 默认为true
  5. yarn.schedule.minimum-allocation-mb
     单个任务可申请的最少物理内存量，默认时1024（MB） 如果一个任务申请的内存小于该值则对应的值改为这个数字。
  6. yarn.schedule.maximum-allocation-mb
     单个任务可以申请的最多的物理内存默认 8192（MB）

三. YARN CPU资源配置

• 目前的CPU被划分为虚拟CPU，这里的虚拟CPU 考虑的是YARN 自己引入的概念，初衷是考虑到不同的节点的CPU 性能不同，每个CPU 具有的计算能力也是不一样的，比如某个物理CPU 的计算能力可能是另外一个物理CPU 计算能力的2倍这种时候你可以通过为第一个物理CPU 多配置几个虚拟CPU 来弥补这种差异。用户提交作业的时候，可以指定需要的虚拟CPU 的个数。在YARN 中CPU相关配置参数如下：
  1. yarn.nodemanager.resource.cpu-vcores
     表示该节点上YARN可使用的虚拟cpu个数默认是8 ，注意目前推荐的是将该值设置与物理cpu 相同，如果你的cpu 核数不够8个则需要减少该值，而YARN 不会只能探测节点的CPU 总核数
  2. yarn.schedule.minimum-allocation-vcores
     单个任务可申请的最小虚拟cpu 核数 默认是1
  3. yarn.schedule.maximum-allocation-vcores
     单个任务可申请的最大虚拟cpu 核数 默认是32

  欢迎关注，更多惊喜等着你