MapReduce执行流程

第一步：InputFormat
InputFormat 在HDFS文件系统中读取要进行计算的数据输出给Split

第二步：Split
Split将数据进行逻辑切分，切分成多个任务输出给RR

第三步：RR
RR将切分后的数据转化成Key Value进行输出
Key：每一行行首字母的偏移量
vaule：每一行数据
输出给Map

第四步：Map
接收一条一条的数据（有多少行代码Map就会运行多少次，蜀西湖的次数根据实际业务需求而定）
根据业务需求编写代码
Map的输出是Key value的list
输出的Shuffle（partition）

————————Map—————————————————

第五步：partition
partition：按照一定的规则对Key value的list进行分区
输出给Shuffle（sort）

第六步：Sort
Sort：对每个分区的数据进行排序
输出给Shuffle（Combiner）

第七部：Combiner
Combiner：在Map端进行局部聚合（汇总）
目的是为了减少网络带宽的开销
输出给Shuffle（Group）

第八步：Group
Group：将相同的Key提取出来作为唯一的Key
将相同Key对应的value提取出来组装成一个value的list
输出给Shuffle（reduce）

————————————Shuffle————————————

第九步：reduce
reduce：根据业务需求对传入的数据进行汇总计算
输出给Shuffle（outputFormat）

第十步：outputFormat
outputFormat：将最终的结果写入HDFS

—————————————reduce———————————