什么是规约Combiner:
每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能。
Combiner会在没一个maptask所在的节点运行。
这里我们以单词统计demo为例,加入一个Combiner,减少map->reduce的传输量。
编写Combiner代码:
package mapreduce;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
/**
* 这里其实可以看出 Combiner也是Reducer的一种,只是工作的地方不一样
*/
public class MyCombiner extends Reducer<Text, LongWritable,Text,LongWritable> {
@Override
protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
int count = 0;
//遍历集合,将集合中的数字相加
for(LongWritable value:values){
count+=value.get();
}
context.write(key, new LongWritable(count));
}
}
在主程序中使用Combiner: