MapReduce执行流程

MapReduce执行流程

---------------------------------------map阶段-------------------------------------------------------

第一步：InputFormat

InputFormat 在HDFS文件系统中读取要进行计算的数据

输出给Split

第二步：Split

Split 将数据进行逻辑切分，切分成多个任务。

输出给RecordReader

第三步：RecordReader

RR 将切分后的数据转换成key value进行输出

key : 偏移量（每行行首字母移动到文本的最前面需要的距离）

value: 每一行数据

输出给Map

第四步：Map

接收一条一条的数据（有多少行数据Map运行多少次，输出的次数根据实际业务需求而定）

根域业务需求编写代码

Map的输出是 key value的 list

输出给Shuffle（partition）

---------------------------------------shuffle阶段-------------------------------------------------------

第五步： partition

partition: 按照一定的规则对 key value的 list进行分区

输出给Shuffle（sort）

第六步：Sort

Sort :对每个分区内的数据进行排序。

输出给Shuffle（Combiner）

第七步：Combiner

Combiner: 在Map端进行局部聚合（汇总）

目的是为了减少网络带宽的开销

输出给Shuffle（Group）

第八步：Group

Group: 将相同key的key提取出来作为唯一的key

将相同key对应的value组装成value 的List作为value

（相同key合并，value形成一个集合）

输出给reduce

------------------------------------reduce阶段--------------------------------------------

第九步：reduce

reduce： 根据业务需求对传入的数据进行汇总计算。

输出给Shuffle（outputFormat）

第十步：outputFormat

outputFormat:将最终的结果写入HDFS