hadoop的mapreduce（2）

  map是映射，把文档映射成key-value的结构体，将数据读入，经过分区计算合并输出为k-v结构，如果有combiner会在对输出进行一次合并，使map的输出更加的紧凑。reduce阶段会把相同key的value进行合并，输出也是k-v结构体。

  shuffle分为map端和reduce端，map端将文件读入，先写入缓存区，缓存区默认100M，缓存区写满了会溢出到磁盘，形成spill文件。溢出到磁盘时会根据reduce的个数进行分区，分区时会对文件进行排序，如果有combiner函数，会对map端输出的文件再一次进行合并，使map端输出的文件更加紧凑。如果文件过大，可能会进行多次的分区，造成spill文件在不同的磁盘上，这边就可以通过扫描索引，查找到spill文件并对其进行合并输出。

  reduce端通过http将map端的输出复制一份，reduce端可以并行的处理map端的输出，只要有一个map端完成操作，reduce端就可以将其复制过来进行处理。如果文件不大，就直接写到缓冲区中，如果数据过大，就会溢出到磁盘，最后对分区文件进行合并。