浅谈Hadoop shuffle

map task部分

1.map读取split输入数据。
2.map处理数据生成key-value。
3.key-value存入内存中的buffer。
4.buffer默认100M（io.sort.mb），当buffer中数据很多超过一个阀值（默认0.8,io.sort.spill.percent），后台将有一个线程（spill）将buffer中数据写入磁盘，存入指定地址（mapred.local.dir）的一个新建的文件中，这个文件被称为溢出写文件。
5.在写之前会将数据分组。
6.等所有数据map完后，将所有数据合并为一个分区的并且排序好的数据。
7.发给reduce task

reduce task部分

1.reduce通过HTTP方式请求map task所在的TaskTracker获取map task的输出文件
2.map输出文件可能存在内存也可能在硬盘。
3.将不同机器运送来的数据分好组并且合并。
4.跑reduce