shuffle过程文件描述

shuffle主要流程简介

先对数据进行切片，然后经数据传递给map，map的输出是环形缓冲区，环形缓冲区默认大小是100M，当达到80%的时候数据就溢写到本地，剩余20%用于继续获取数据，在溢写到磁盘的时候会执行partition（分区）和sor（排序），然后对文件进行合并操作，合并完成后reducetask会启动线程去mapTask拉取数据，然后进行文件合并，并进行排序（归并），然后将小文件合并一个大文件并调用reduce方法完成最终输出结果

详细过程

MapTask：

1. input Split 分配给Map
2. Map过程进行处理，Mapper任务会接收输入的分片，然后不断的调用map方法，对记录进行处理，处理完毕后，转换为新的<key,value>输出（其中每一个分片对应一个map，一个map可以被调用多次来处理分片）
3. Map的输出结果会缓存到内存里，当内存中buffer in memory（内存）当达到阈值，（默认的80%），就会把记录溢写到磁盘文件中，然后用剩余的20%来继续接受数据。
   ps：优化map时可以调大buffer的阈值，缓存更多的数据
4. 内存中进行partition（分区），默认是HashPartition
   ps；此hash采用hash（key.hashcode()& Integer.MAX_VALUE）% munReduceTasks 有多少个分区就会有多少个reducetask
   目的是将map的结果分给不同的reduce，有几个Partion就有几个reduce，partition的数目可以在job启动的时候通过参数设置，可以让map的结果均匀的分给不同的机器上的reducer，保证负载均衡
5. 内存中partition结束后欧，对于不同分区的数据，会按照key进行排序，这里key必须实现WritableComparable接口，该接口实现了Comparable，因此才可以进行比较排序
6. 对于排序之后的<key,value>会按照key进行分组，如果key相同，name相同key的<key,value>就会被分割到一个组中，最终，每个分组会调用一次reduce方法。
7. 排序分组结束之后，相同的key就在一起组成了一个类表，如果设置过 Combiner，就合并数据，减少写入磁盘
   ps：combiner本质即使一个reducer
8. 当磁盘中的spill文件数目比规定的文件数据多的时候，会多次调用combiner，在不影响结果的前提下，combiner可以被调用多次
9. Map结果的时候会把spill出来的多个文件合并一个，merge过程最多10个文件同时合成一个文件，多余的文件就多次调用merge
10. Map端的shuffle完毕，数据都有序的放到磁盘中，等待reducer来获取
    ReduceTask
11. reducer的后台会被appMaster指定的机器上将map的output拷贝到本地，先拷贝内存，内存满了，就拷贝磁盘
12. Reducer采用Merge sort将来自各个map的数据进行merge，megre成一个有序的更大的文件。
13. reduce端job开始，输入是shuffle sort过程所产生的文件
14. reduce的输入文件，不断merge后，他们会出现最终文件，这个最终文件可能存储在磁盘也可能在内存。
    reduce方法就会被启动，这个文件的处理的结果放到HDFS上