MapReduce的执行流程

MapReduce的执行流程

1. 文件读取组件调用getRecordReader()方法,再调用LineRecordReader方法来读取切片文件
2. 读取完之后到Mapper中进行处理 Mapper处理完之后,数据进入环形缓冲区
3. 环形缓冲区数据超过80%时会溢出,每溢出一次数据,都会与上一次溢出的数据进行合并操作(归并排序法)
4. 数据合并完之后,reduce会主动拉取分区完的数据进入Reduce程序中执行 处理后的数据使用文件输出组件写出到HDFS
5. HDFS上会生成_SUCCESS(校验文件),和数据处理结果