hadoop1 的suffle过程

map端的suffle过程
1.map task向环形内存缓冲区中写数据
2.当环形内存缓冲区中的数据达到阀值时,开始将环形内存缓冲区中的数据spill到文件中
3.每次调用sortAndSpill方法都会产生一个输出文件
4.在spill的过程中:
首先对map的输出数据按照key进行排序
然后将排序后的数据按照分区顺序写到输出文件中
5.map task结束后会产生大量的spill文件
6.执行merge操作,将map生成的众多的spill文件中的数据按照分区重新组织.
主要做法是针对指定分区,从各个spill文件中拿出属于一个分区的所有数据,然后将它们合并在一起,写入一个已分区且已排序的Map输出文件中.


reduce端的suffle过程
主要包括(复制map输出,排序合并和reduce处理)
1.将map的输出复制到reduce所在的磁盘(不会等到所有的map任务结束)
2.将从各个map tasktracker上复制的map输出文件进行合并,并维持数据原来的顺序
3.对合并的文件进行reduce处理