第八章 MapReduces和yarn的生成经验

目录

8.1 MapReduce生产经验

8.1.1 MapReduce跑的慢的原因

8.1.2 MapReduce常用调优参数

8.1.3 MapReduce数据倾斜问题

8.2 Hadoop-Yarn生产经验

8.2.1 常用的调优参数

8.2.2 容量调度器的使用

8.2.3 公平调度器的使用

8.1 MapReduce生产经验

8.1.1 MapReduce跑的慢的原因

• 计算机性能：cpu、内存、硬盘、网络
• I/O操作优化：数据倾斜、Map运行时间太长，导致Reduce等待过久、小文件过多

8.1.2 MapReduce常用调优参数

8.1.3 MapReduce数据倾斜问题

• 数据倾斜现象

1. 数据频率倾斜——某一个区域的数据量要远远大于其他区域。
2. 数据大小倾斜——部分记录的大小远远大于平均值。

• 减少数据倾斜的方法

1. 首先检查是否空值过多造成的数据倾斜。生产环境，可以直接过滤掉空值；如果想保留空值，就自定义分区，将空值加随机数打散。最后再二次聚合。
2. 能在 map  阶段提前处理，最好先在 Map  阶段处理。如：Combiner、MapJoin
3. 设置多个 reduce 个数

8.2 Hadoop-Yarn生产经验

8.2.1 常用的调优参数

• 调优参数列表

1. Resourcemanager 相关

   yarn.resourcemanager.scheduler.client.thread-count ResourceManager 处理调度器请求的线程数量
   yarn.resourcemanager.scheduler.class  配置调度器

2. Nodemanager 相关

   yarn.nodemanager.resource.memory-mb  NodeManager 使用内存数
   yarn.nodemanager.resource.system-reserved-memory-mb NodeManager 为系统保留多少内存，和上一个参数二者取一即可
   yarn.nodemanager.resource.cpu-vcores  NodeManager 使用 CPU 核数
   yarn.nodemanager.resource.count-logical-processors-as-cores  是否将虚拟核数当作 CPU 核数
   yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数，例如：4 核 8 线程，该参数就应设为 2
   yarn.nodemanager.resource.detect-hardware-capabilities 是否让 yarn 自己检测硬件进行配置
   yarn.nodemanager.pmem-check-enabled  是否开启物理内存检查限制 container
   yarn.nodemanager.vmem-check-enabled  是否开启虚拟内存检查限制 container
   yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例

3. Container 容器相关

   yarn.scheduler.minimum-allocation-mb 容器最小内存
   yarn.scheduler.maximum-allocation-mb 容器最大内存
   yarn.scheduler.minimum-allocation-vcores  容器最小核数
   yarn.scheduler.maximum-allocation-vcores  容器最大核数

8.2.2 容量调度器的使用

         https://blog.csdn.net/qq_38358499/article/details/118074889，第2.2节

8.2.3 公平调度器的使用

         https://blog.csdn.net/qq_38358499/article/details/118074889，第2.3节