Sgg：Hadoop Shuffle机制

MapReducer是一个分布式的计算框架。
MapReducer的特点：

1. 易于编程。
2. 高容错性
3. 良好的拓展性。
4. 适合PB级别以上的海量数据处理

其中最重要的是shuffle机制流程。
Mapper：
映射，将所处理业务的最小数据单元拆分出啦以Key-Value对的形式传送给下一个环节。
Reducer：
化简，按照业务逻辑将所有已拆分的数据合并同类项的过程。
以wordcount为例的简图：

1. Format

MapReduce阶段有InputFormat和OutputFormat两个格式化输入输出格式。这两个过程都是可以自定义输入和自定义输出的。

2. 序列化

定义： 将内存中的对象转化成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输
Java的序列化是重量级序列化框架。自带了很多额外信息，不利于网络传输，因此Hadoop有一套自己的序列化机制。更加精简有效。

3. 比较机制

3.1 实现WritableComparable自然比较器接口

自定义的Bean类型的数据作为key如果根据业务需求进行比较，要实现WritabeComparable接口。
其中一个比较方法：根据比较值返回正负数。

@Override
public int compareTo(FlowBean o) {
// 倒序排列，从大到小
return this.sumFlow > o.getSumFlow() ? -1 : 1;
}

3.2 继承WritableComparactor自定义比较器

public class FlowComparator extends WritableComparator{
	public FlowComparator () {
		super(FlowBean.class, true);
	}
	@Override
	public int compare(WritableComparable a, WritableComparable b) {
		FlowBean bean1 = (FlowBean)a;
		FlowBean bean2 = (FlowBean)b;
		return bean1.getSumFlow() < bean2.getSumFlow() ? -1 : 1;
	}
}

在Driver中声明。

// 5 指定自定义排序比较器规则
job.setSortComparatorClass(FlowComparator.class);

4. 手动设置partition mapper reducer分区数

都可以在Driver端手动设置参数。几个reducer就有几个输出文件。

5.MapTask

1. 先把Data文件格式进行InputFormat的格式解读
   按照对应的文件形式将数据以流的形式解读
2. 经过格式的解读之后进行Mapper的根据业务拆分成最小的数据单元
3. 再导入环形的缓冲区，存在于内存
   这里我们说一下环形缓冲区？
   环形缓冲区是一个环形双链表结构，他的默认内存是1MB，是用来储存拆分后的数据的地方，由于他的内存只有有限的1M内存，因此他有一个阈值80%，首先存满80%后，会在链表的另一端开辟一个空间继续存20%，存满后，数据会溢出，这里我们叫溢写(spill)，溢出的数据会进入磁盘缓冲区，但是进入循环缓冲区，但是之前还要经历分区(Partitioner)和排序(sort)，这个就是序列化
   4.分区后进行排序，排序一般是 快速排序 方法，需要每个key比较，比较器有两种[自然排序，自定义排序]
   排序之后可能需要合并(combine)？
   5.数据序列化之后进入磁盘缓冲区

   6.ReduceTask

   1. 磁盘缓冲区(DiskBuffer)存入内存级别的缓冲区Mem，
   2. 之后进行排序，归并排序面对的是(简单)基本数据类型的Key，分组排序面对的(复杂)Bean类型的KEY
   3. 排序后进行Reduce的排序，每个key的所有value合并过程
   4. 最后进入OutputFormat进行输出
      得到输出结果par-r-xxxxx文件和 代表成功的_success文件