目录
8.1 MapReduce生产经验
8.1.1 MapReduce跑的慢的原因
- 计算机性能:cpu、内存、硬盘、网络
- I/O操作优化:数据倾斜、Map运行时间太长,导致Reduce等待过久、小文件过多
8.1.2 MapReduce常用调优参数
8.1.3 MapReduce数据倾斜问题
- 数据倾斜现象
- 数据频率倾斜——某一个区域的数据量要远远大于其他区域。
- 数据大小倾斜——部分记录的大小远远大于平均值。
- 减少数据倾斜的方法
- 首先检查是否空值过多造成的数据倾斜。生产环境,可以直接过滤掉空值;如果想保留空值,就自定义分区,将空值加随机数打散。最后再二次聚合。
- 能在 map 阶段提前处理,最好先在 Map 阶段处理。如:Combiner、MapJoin
- 设置多个 reduce 个数
8.2 Hadoop-Yarn生产经验
8.2.1 常用的调优参数
- 调优参数列表
- Resourcemanager 相关
yarn.resourcemanager.scheduler.client.thread-count ResourceManager 处理调度器请求的线程数量 yarn.resourcemanager.scheduler.class 配置调度器
- Nodemanager 相关
yarn.nodemanager.resource.memory-mb NodeManager 使用内存数 yarn.nodemanager.resource.system-reserved-memory-mb NodeManager 为系统保留多少内存,和上一个参数二者取一即可 yarn.nodemanager.resource.cpu-vcores NodeManager 使用 CPU 核数 yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作 CPU 核数 yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数,例如:4 核 8 线程,该参数就应设为 2 yarn.nodemanager.resource.detect-hardware-capabilities 是否让 yarn 自己检测硬件进行配置 yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制 container yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制 container yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例
- Container 容器相关
yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb 容器最大内存 yarn.scheduler.minimum-allocation-vcores 容器最小核数 yarn.scheduler.maximum-allocation-vcores 容器最大核数
8.2.2 容量调度器的使用
https://blog.csdn.net/qq_38358499/article/details/118074889,第2.2节
8.2.3 公平调度器的使用
https://blog.csdn.net/qq_38358499/article/details/118074889,第2.3节