对MapReduce的理解

对MapReduce的理解

MapReduce的最核心的思想就是“分而治之，先分后和”，即指将一个大的，复杂的工作或任务，分成多个小块来并行处理，最后合并其结果。mapreduce适用于大量的大文件，因为小文件没有拆和的必要，一个事务如果具备拆和的特性那么他就适用于mapreduce来解决，反之则不能。
MapReduce分为两部分一部分是负责拆的map他也只能进行拆，另一部分是负责和的他也只能和。
map把一个负责繁琐的任务分解为若干个小任务并行处理，相当于分为几个小人物就节省了几倍的时间，并且可以拆分的前提是这些小人物可以并行计算没有任何依赖关系。
reduce是map阶段的结果进行全局汇总。
map和reduce中间有一个shuffle阶段，而shuffle又包括四个过程分区，排序，规约（combine），分组；详细如下（便于理解）
分区：对输出的key，value对进行分区。相同key的数据发送到同一个reduce里面去，相同key合并，value形成一个集合
排序：对不同分区的数据按照相同的key进行排序
combine：对分组后的数据进行规约(combine操作)，降低数据的网络拷贝（可选步骤）
分组：对排序后的额数据进行分组，分组的过程中，将相同key的value放到一个集合当中