MapReduce的调优方法简单阐述(大数据面试高频六)

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

        1.数据输入

        （1）合并小文件，在执行MR任务前将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导致MR运行较慢。（MR的每一个task都是一个进程，当task完成时，进程也会结束，这都产生时间消耗）

        （2）采用combinetextinputformat来作为输入，解决输入端大量小文件的场景。(CombineTextInputFormat 用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask 处理)

        2.Map阶段

        （1）减少溢写次数，通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发溢写的内存上限，减少溢写次数，从而减少磁盘IO。

        （2）减少合并次数，通过调整 io.sort.factor 参数，增大merge的文件数目，减少merge的次数，从而缩短MR处理时间。

        （3）在map之后，不影响业务逻辑的前提下，先进行combine处理，减少IO。

        3.Reduce阶段

        （1）合理设置map和red