RecordReader and InputFormat vs OutputFormat and RecordWriter

RecordReader and InputFormat vs OutputFormat and RecordWriter

1. InputFormat从HDFS中读取文件，InputFormat abstract类中有一个方法是getSplits，会返回这么文件要分成几个InputSplit。一般来说一个InputSplit会对应的一个Map task上去。
2. 每个Map task会通过RecordReader来读取InputSplit中的内容，将它们组成成key value的pair，传递给map方法。
3. 然后通过combine和partitioner，将数据缓存（如果数据比较大），等待Reduce task来拿自己的数据。
4. Reduce task拿到数据后，通过归类和排序后，将结果传递给reduce方法
5. reduce方法处理完成后，会将自己的结果写入OutputFormat中
6. 在OutputFormat中，有一个getRecordWriter方法，RecordWrite会讲reduce传入的key value pair写入文件
7. 到这里，一个map-reduce 过程结束

https://www.slideshare.net/martyhall/hadoop-tutorial-mapreduce-part-4-input-and-output