MapReduce的整体流程、及shuffle机制

MapReduce的整体流程
    1、待处理数据
    2、提交客户端submit()
    3、提交信息切片----hadoop jar wc.jar
    4、计算出maptask数量----（nodemanger开辟maptask)
    5、使用TextInputFormat读待处理数据----RecordReader
    6、context.write()源码中用InputOutputContext向环形缓冲区写数据----默认分区和排序    默认为100M，超过80%发生溢写
    7、归并排序
    8、下载到reduceTask本地磁盘
    9、合并文件，归并排序
    10、一次读取一组
    11、默认TextOutputFormat----RecordWrite

shuffle机制（map之后，reduce之前）
    1、写入数据到唤醒缓冲区，默认100M，超过80%，发生溢写
    2、第一次溢写，
    3、进行分区
    4、进行排序
    5、合并，----Combiner可选操作，合并是区与里面发生排序就会触发
    6、归并----合并是每个区内的合并，归并是区与区之间的合并
    7、输出，context()写磁盘
    8、拷贝
    9、内存不够益处到磁盘
    10、归并排序
    11、按照相同的key分组