简单认识MR的流程
从流的角度
- Input
- InputFormat
- Mapper
- Shuffle
- Reducer
- OutputFormat
- Output
从不同的阶段
两种说法
- Map阶段 + Reduce阶段
- Map阶段 + Shuffle阶段(Map前半段+Reduce后半段) + Reduce阶段
从源码的角度
map -> sort -> copy -> sort -> reduce
MapTask: map->sort
ReduceTask: copy -> sort -> reduce