mapreduce的combiner

优化组件combiner

1、 shuffle必经：分区 、排序、分组
combiner：优化过程
combiner的作用;对每一个maptask的输出做一个聚合
达到的效果：减少了shuffle过程的数据，减少reduce端处理的数据，提升总体性能
combiner 就是帮助reduce在map端 提前做了一个数据预处理，减少shuffle过程中的数据量

2、 combiner的逻辑和reduce短的逻辑一样，在map之后reduce之前
默认情况下这个组件没有，如果需要，则要手动添加
1）定义一个类，继承Reducer
2)重写reduce()方法
3）//指定添加combiner组件
job.setCombinerClass(myCombiner.class);

注意：
combiner仅仅是一个优化组件，不会影响原来的map、reduce的业务逻辑
不要给combiner赋予过多的功能
combiner和reduce的逻辑是一样的
一般情况下，combiner不会单独定义的，一般使用reduce的类
前提条件是：reduce类的前两个泛型和后两个泛型一致
不一致，则需要自定义
案例：

myMapper类
package mapreduce;


import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
 
/*
 * 统计每个小文件
 * 1、继承Mapper类
 * 2、重写map方法
 * Mapper类中4个泛型
 * KEYIN, 输入的键的类型,这里指的是每一行 的起始字节偏移量 (long)
 * VALUEIN,输入的值得类型,这里指的是每一行的内容(String)
 * KEYOUT, 输出的键的类型,这里指的是每一个单词(String)
 * VALUEOUT,输出的值的类型,这里指的是单词的次数(int)
 * map的数据需要经过网络传输到reduce端，所有的数据类型必须具备序列化和反序列化的能力
 * 序列化&