Yarn 生产环境核心参数配置案例

文章目录

• Yarn 生产环境核心参数配置案例
• • 需求
  • 修改yarn-site.xml配置
  • 分发
  • 重启集群
  • 执行WordCount程序

Yarn 生产环境核心参数配置案例

调整下列参数之前要拍摄Linux快照(就是保留之前的状态)，否则后续的案例，还需要重写集群

右键-拍摄快照
右键-恢复到快照

需求

从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。

1G/128M=8个MapTask 1个ReduceTask 1个mrAppMaster

平均每个节点运行10个/3台≈3个任务 （4个任务，3个任务，3个任务）

修改yarn-site.xml配置

<!-- ResourceManager 处理调度器请求的线程数量，默认50，如果提交的任务数大于50可以增加该值，但是不能超过3台*4线程=12线程，去除其他应用程序(不可能全部分配给这个任务)时机不能超过8 -->

<property>
<description>Number of threads to handle scheduler
interface.</description>
<name>yarn.resourcemanager.scheduler.client.thread-count</name>
<value>8</value>
</property>

<!-- 是否让 yarn 自动检测硬件进行配置，默认是 false，如果该节点有很多其他应用程序，建议手动配置。如果该节点没有其他应用程序，可以采用自动 -->

<property>
<description>Enable auto-detection of node capabilities such as
memory and CPU.
</description>
<name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
<value>false</value>
</property>

<!-- 是否将虚拟核数当作 CPU 核数，默认是 false，采用物理 CPU 核数 -->

<property>
<description>Flag to determine if logical processors(such as
hyperthreads) should be counted as cores. Only applicable on Linux when yarn.nodemanager.resource.cpu