MapReduce调优

最新推荐文章于 2023-07-18 16:28:02 发布

Forever_ck

最新推荐文章于 2023-07-18 16:28:02 发布

阅读量438

点赞数 1

分类专栏： Hadoop 文章标签：大数据 Hadoop Mapreduce Hadoop调优

本文链接：https://blog.csdn.net/forever_ck/article/details/84799319

版权

本文主要探讨了MapReduce程序的瓶颈，包括硬件性能和I/O操作优化，并详细介绍了MapReduce的优化方法，如数据输入合并、Map阶段减少溢写和合并次数、Reduce阶段合理设置任务数量、IO传输优化以及解决数据倾斜问题的策略。通过这些调优措施，可以显著提升MapReduce程序的运行效率。

摘要由CSDN通过智能技术生成

一、在调优之前，我们需要清楚以下两个问题：

MapReduce为什么跑的慢？
MapReduce程序的瓶颈是什么？

二、MapReduce程序效率的瓶颈可以概括为以下两点：
2.1：计算机性能（即硬件）
CPU、内存、磁盘健康、网络状况
2.2：I/O操作优化
1. 数据倾斜
2. map和reduce数设置不合理
3. map运行时间太长，导致reduce等待时间过长
4. 小文件过多
5. 大量的不可分割的超大文件
6. spill次数过多
7. merge次数过多等。
三、找到了问题，那么再来看解决方法：
MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。
3.1 数据输入
（1）合并小文件：在执行 mr任务前将小文件进行合并，大量的小文件会产生大量的map 任务，增大 map 任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。
（2）采用 CombineTextInputFormat来作为输入，解决输入端大量小文件场景。
3.2 Map阶段
1）减少溢写（spill）次数：通过调整 io.sort.mb及 sort.spill.percent参数值，增大触发spill 的内存上限，减少 spill 次数，从而减少磁盘 IO。
2）减少合并（