Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同的key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果，必须对Map的输出进行一定的排序与分割，然后再交给对应的Reduce，Map端的输出作为Reduce的输入的过程叫做Shuffle.
Shuffle过程包含在Map和Reduce两端，即Map shuffle和Reduce shuffle。
map shuffle会经过分区，排序，分割，然后将属于同一分区的输出合并一起写在磁盘上。首先每个任务维护一个环形内存缓冲区，用于存储任务的输出，默认是100MB。当map开始产生输出数据时，先将数据写入缓冲区中，当缓冲区达到设定的阈值时，会将缓冲区的数据溢出到本地磁盘，溢出的文件成为spill文件。在将缓冲区的数据写入磁盘之前，会根据reduce的数量对缓冲区的数据进行分区，在每个分区中对数据按key进行排序。如果有combiner函数，则会在排序后的输出上运行，使得map的输出结果更加紧凑。Map任务如果输出量很大，可能会进行好几次分割，这样spill文件就会分布在不同的磁盘上，这边通过扫描本地索引找到spill文件的位置，然后将它们合并输出。
reduce shuffle有复制和合并。Reduce通过Http的方式从map获取数据，reduce有少量的复制线程，可以并行的从map上复制数据。Reduce可能需要从多个map任务中获取数据，因此只要多个map中的一个完成，reduce便可以从map复制数据。如果map的输出数据较小，会直接复制到内存；如果数据比较大，当达到缓冲区阈值时会溢出到磁盘，最后会排序合并这些溢出文件。
1794
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
