Mapreduce跑的慢的原因
1.要针对MapReduce进行优化首先要明白其跑的慢的原因都有哪些,才方便酌情针对优化
2.跑的慢的原因:
(1)计算机性能,硬件的支持,这个解决方案没什么好说的,砸钱就好
(2)I/O操作优化,又分为以下几个点
a,数据倾斜(比如一个reduceTask处理的分区只有一条数据,另一个ReduceTask处理的分区数据为一百万条)
b,Map运行时间过长,Reduce等待时间较久
c,小文件过多
d,溢写次数过多
e,归并排序次数过多
优化方法
MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
数据输入
如果是过多小文件的话,可以采用CombineTextInputFormat来作为输入