Hadoop生态圈（三十九）- YARN核心参数配置详解

原文地址：https://program-park.github.io/2022/02/14/hadoop_43/

1. ResourceManager核心参数

  针对 ResourceManager 主节点来说，需要设置调度器类型及请求线程数据量：

• 参数一：yarn.resourcemanager.scheduler.class
  • 设置 YARN 使用调度器，默认值：（不同版本 YARN，值不一样）
    • Apache 版本 YARN ，默认值为容量调度器；
      org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
    • CDH 版本 YARN ，默认值为公平调度器；
      org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
• 参数二：yarn.resourcemanager.scheduler.client.thread-count
  • ResourceManager 处理调度器请求的线程数量，默认 50，如果 YARN 运行任务 Job 比较多，可以将值调整大一下；

2. NodeManager核心参数

  NodeManager 运行在每台机器上，负责具体的资源管理。

• 参数一：yarn.nodemanager.resource.detect-hardware-capabilities
  • 是否让 YARN 自己检测硬件进行配置，默认 false，如果设置为 true，那么就会自动探测 NodeManager 所在主机的内存和 CPU；
• 参数二：yarn.nodemanager.resource.count-logical-processors-as-cores
  • 是否将虚拟核数当作 CPU 核数，默认 false；
• 参数三：yarn.nodemanager.resource.pcores-vcores-multiplier
  • 虚拟核数和物理核数乘数，例如：4 核 8 线程，该参数就应设为 2，默认 1.0；
• 参数四：yarn.nodemanager.resource.memory-mb
  • NodeManager 使用内存，默认 8G；
• 参数五：yarn.nodemanager.resource.system-reserved-memory-mb
  • 此参数，仅仅当上述参数一为 true 和参数四为 -1 时，设置才生效；
  • 默认值：20% of (system memory - 2*HADOOP_HEAPSIZE)
• 参数六：yarn.nodemanager.resource.cpu-vcores
  • NodeManager 使用 CPU 核数，默认 8 个；
• 参数七：其他参数，使用默认值即可
  • 参数：yarn.nodemanager.pmem-check-enabled，是否开启物理内存检查限制 container，默认打开；
  • 参数：yarn.nodemanager.vmem-check-enabled，是否开启虚拟内存检查限制 container，默认打开；
  • 参数：yarn.nodemanager.vmem-pmem-ratio，虚拟内存物理内存比例，默认 2.1；

3. Contanier核心参数

  当应用程序提交运行至 YARN 上时，无论是 AppMaster 运行，还是 Task（MapReduce 框架）或 Executor（Spark 框架）或 TaskManager（Flink 框架）运行，NodeManager 将资源封装在 Contanier 容器中，以便管理和监控，核心配置参数如下所示：

• 参数一：yarn.scheduler.minimum-allocation-mb
  • 单个任务可申请的最少物理内存量，默认是 1024 (MB)，如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数；
• 参数二：yarn.scheduler.maximum-allocation-mb
  • 单个任务可申请的最多物理内存量，默认是 8192 (MB)；
• 参数三：yarn.scheduler.minimum-allocation-vcores
  • 单个任务可申请的最小虚拟 CPU 个数，默认是 1，如果一个任务申请的 CPU 个数少于该数，则该对应的值改为这个数。
• 参数四：yarn.scheduler.maximum-allocation-vcores
  • 单个任务可申请的最多虚拟 CPU 个数，默认是 4。