Shuffle机制
MapReducer是一个分布式的计算框架。
MapReducer的特点:
- 易于编程。
- 高容错性
- 良好的拓展性。
- 适合PB级别以上的海量数据处理
其中最重要的是shuffle机制流程。
Mapper:
映射,将所处理业务的最小数据单元拆分出啦以Key-Value对的形式传送给下一个环节。
Reducer:
化简,按照业务逻辑将所有已拆分的数据合并同类项的过程。
以wordcount为例的简图:
1. Format
MapReduce阶段有InputFormat和OutputFormat两个格式化输入输出格式。这两个过程都是可以自定义输入和自定义输出的。
2. 序列化
定义: 将内存中的对象转化成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输
Java的序列化是重量级序列化框架。自带了很多额外信息,不利于网络传输,因此Hadoop有一套自己的序列化机制。更加精简有效。
3. 比较机制
3.1 实现WritableComparable自然比较器接口
自定义的Bean类型的数据作为key如果根据业务需求进行比较,要实现WritabeComparable接口。
其中一个比较方法:根据比较值返回正负数。
@Override
public int compareTo(FlowBean o) {
// 倒序排列,从大到小
return this.sumFlow > o.getSumFlow() ? -1 : 1;
}
3.2 继承WritableComparactor自定义比较器
public class FlowComparator extends WritableComparator{
public FlowComparator () {
super(FlowBean.class, true);
}
@Override
public int compare(WritableComparable a, WritableComparable b) {
FlowBean bean1 = (FlowBean)a;
FlowBean bean2 = (FlowBean)b;
return bean1.getSumFlow() < bean2.getSumFlow() ? -1 : 1;
}
}
在Driver中声明。
// 5 指定自定义排序比较器规则
job.setSortComparatorClass(FlowComparator.class);
4. 手动设置partition mapper reducer分区数
都可以在Driver端手动设置参数。几个reducer就有几个输出文件。
5.MapTask
- 先把Data文件格式进行InputFormat的格式解读
按照对应的文件形式将数据以流的形式解读 - 经过格式的解读之后进行Mapper的根据业务拆分成最小的数据单元
- 再导入环形的缓冲区,存在于内存
这里我们说一下环形缓冲区?
环形缓冲区是一个环形双链表结构,他的默认内存是1MB,是用来储存拆分后的数据的地方,由于他的内存只有有限的1M内存,因此他有一个阈值80%,首先存满80%后,会在链表的另一端开辟一个空间继续存20%,存满后,数据会溢出,这里我们叫溢写(spill),溢出的数据会进入磁盘缓冲区,但是进入循环缓冲区,但是之前还要经历分区(Partitioner)和排序(sort),这个就是序列化
4.分区后进行排序,排序一般是 快速排序 方法,需要每个key比较,比较器有两种[自然排序,自定义排序]
排序之后可能需要合并(combine)?
5.数据序列化之后进入磁盘缓冲区6.ReduceTask
- 磁盘缓冲区(DiskBuffer)存入内存级别的缓冲区Mem,
- 之后进行排序,归并排序面对的是(简单)基本数据类型的Key,分组排序面对的(复杂)Bean类型的KEY
- 排序后进行Reduce的排序,每个key的所有value合并过程
- 最后进入OutputFormat进行输出
得到输出结果par-r-xxxxx文件和 代表成功的_success文件