MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
1.数据输入
(1)合并小文件,在执行MR任务前将小文件进行合并,大量的小文件会产生大量的map任务,增大map任务装载次数,而任务的装载比较耗时,从而导致MR运行较慢。(MR的每一个task都是一个进程,当task完成时,进程也会结束,这都产生时间消耗)
(2)采用combinetextinputformat来作为输入,解决输入端大量小文件的场景。(CombineTextInputFormat 用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,这样,多个小文件就可以交给一个MapTask 处理)
2.Map阶段
(1)减少溢写次数,通过调整 io.sort.mb 及 sort.spill.percent 参数值,增大触发溢写的内存上限,减少溢写次数,从而减少磁盘IO。
(2)减少合并次数,通过调整 io.sort.factor 参数,增大merge的文件数目,减少merge的次数,从而缩短MR处理时间。
(3)在map之后,不影响业务逻辑的前提下,先进行combine处理,减少IO。
3.Reduce阶段
(1)合理设置map和red