1MapReduce 跑的慢的原因
- 系统资源限制:内存、CPU
- I/O问题
- 小文件太多
- 超大文件不能切片
- Map和Reduce参数设置不合理
- Map运行太长,Reduce等待太久
- 溢写次数太多
- merge合并次数太多
2 MapReduce优化方法
MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
- 数据输入:合并小文件:CombineTextInputFormat
- Map 阶段:
- 减少溢写次数:增大内存存储上限,减少溢写次数
- 减少merge合并次数:增大merge文件数,减少合并次数,缩短MR处理时间
- Map后,不影响业务逻辑下,提前combine出来,减少i/o
- Reduce阶段:
- 合理设置Map和Reduce个数:太少使task等待时间长;太多hi竞争资源
- 在Map运行到一定程度后,让Reduce也开始运行,减少等待时间
- 尽量不用Reduce
- 合理设置Reduce短的buffer
- IO传输
- 采用数据压缩方式:Snappy[
速度非常快
]和LZO[可切片
]压缩;bzips:精度高,速度慢
- 使用SequenceFile二进制文件
- 采用数据压缩方式:Snappy[
- 数据倾斜问题
- 常用调优参数