优化策略
- 优化Map和Reducer数量。
- 输入,大文件优于小文件。
- 减少网络传输(尤其是shuffle阶段):压缩或combiner
设置相关参数。
map端:
Map输出并非简单输出到磁盘,而是缓冲的方式写入内存并做预排序。当缓冲区满了则刷入磁盘。 缓冲区占用内存空间的大小,此处可以调优
Mapreduce.task.io.sort.mb 设置缓冲区大小mapreduce.map.sort.spill.percent设置缓冲区写数据百分比
Map缓冲区每刷一次磁盘,产生一个溢出文件。Map输出结束后,所有溢出文件会被合并为一个已分区且已排序的 输出文件。
mapreduce.task.io.sort.factor
控制合并线程的数量
将压缩后的map结果输出可以减少磁盘写入 量和网络传输量。
Mapreduce.map.output.compress
对map输出结果做压缩,数据占用存储空间减小,网络传输减少
Reduce端:
只要有一个map任务完成,reduce便开始复制其输出,reduce有少量的线程做复制。复制完所有map输出后,reduce便会进入合 并阶段。合并后的数据作为reduce输入。
Mapreduce.reduce.shuffle.parallelcopies
控制从map端拷贝数据的线程数量
Combiner
集群上最紧俏的资源便是网络带宽,因此尽量减少map和reduce阶段的网络传输对MapReduce的性能提升是很重要的。
Hadoop为map任务的输出指