优化组件combiner
1、 shuffle必经:分区 、排序、分组
combiner:优化过程
combiner的作用;对每一个maptask的输出做一个聚合
达到的效果:减少了shuffle过程的数据,减少reduce端处理的数据,提升总体性能
combiner 就是帮助reduce在map端 提前做了一个数据预处理,减少shuffle过程中的数据量
2、 combiner的逻辑和reduce短的逻辑一样,在map之后reduce之前
默认情况下这个组件没有,如果需要,则要手动添加
1)定义一个类,继承Reducer
2)重写reduce()方法
3)//指定添加combiner组件
job.setCombinerClass(myCombiner.class);
注意:
combiner仅仅是一个优化组件,不会影响原来的map、reduce的业务逻辑
不要给combiner赋予过多的功能
combiner和reduce的逻辑是一样的
一般情况下,combiner不会单独定义的,一般使用reduce的类
前提条件是:reduce类的前两个泛型和后两个泛型一致
不一致,则需要自定义
案例:
myMapper类
package mapreduce;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/*
* 统计每个小文件
* 1、继承Mapper类
* 2、重写map方法
* Mapper类中4个泛型
* KEYIN, 输入的键的类型,这里指的是每一行 的起始字节偏移量 (long)
* VALUEIN,输入的值得类型,这里指的是每一行的内容(String)
* KEYOUT, 输出的键的类型,这里指的是每一个单词(String)
* VALUEOUT,输出的值的类型,这里指的是单词的次数(int)
* map的数据需要经过网络传输到reduce端,所有的数据类型必须具备序列化和反序列化的能力
* 序列化&