简述MR的工作流程?

1-InputFormat

从文件中读取数据，转换成key-value格式。

getSplits 获取文件的逻辑切片数，开启对应个数的mapper实例。

create RecordReader 用来读取记录，调用此方法一条一条的读记录。

2-Mapper

读取InputSplit的每个key-value 并对其进行处理

setup 初始化

cleanup 释放资源

map 映射转换，每一个k-v调用一次map方法

run 循环读取k-v数据，调用map方法进行映射转换

3-Shuffle

Shuffle 在Mapper工作之后，Reader工作之前的中间环节

分区 Partitioner

排序 WritableComparable

预聚合 Combiner

分组排序 GroupingComparator

4-Reducer

对shuffle处理之后的k-v进行归并处理

setup 初始化

cleanup 释放资源

reduce 归约| 合并 对相同的key调用一次reduce方法

run 循环调用reduce方法处理所有的k-v数据

5-OutputFormat

输出Reducer处理的结果数据

checkOutputSpces 在Job Client 提交Job之前被调用的用于检测Job的输出路径。

getRecordWriter 用于返回一个RecordWriter 的实例，reduce任务在执行的时候就是利用这个实例来输出key/value的。

getOutputCommitter 用于返回一个OutputCommitter 的实例，OutputCommitter用于控制Job的输出环境。