mapreduce shuffle

一、 Map端shuffle

1. 输入数据和执行Map任务 通过自定义Map，将输入<key,value>转换成新的<key,value>并输出
2. 写入缓存 每个map任务都会分配一个缓存区（通过环形队列实现），默认100M，首先将map的输出写入缓存，当达到一定数量是会一次性批量写入磁盘，以减少磁盘IO操作
3. 溢写（分区，排序，和并） 因为缓存区大小有限，为不影Map结果的写入操作，每当缓存区大小达到溢写比例（spill.percent默认0.8）会启动溢写线程（spill），锁定这80MB(100M*0.8)的内存，执行溢写过程。剩下的20MB继续写入map task的输出结果。互不干涉！
   溢写线程
   1. 数据分区（partition） 由于不同的<key,value>要交给不同的reduce任务处理，MapReduce提供Partitioner接口，它的作用就是根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以通过重载Partitioner接口来实现自定义分区。
   2. 排序 完成分区之后，溢写线程将对每一个分区进行排序（sort）排序，排序是MapReduce模型的默认行为，