mapreduce执行过程流程图_MapReduce过程详解

MapReduce是一种云计算的核心计算模式，是一种分布式运算技术，也是简化的分布式并行编程模式，主要用于大规模并行程序并行问题。

MapReduce的主要思想：

自动将一个大的计算(程序)拆分成Map(映射)和Reduce(化简)的方式。

流程图如下：

数据被分割后通过Map函数将数据映射成不同的区块，分配给计算集群进行处理，以达到分布运算的效果，再通过Reduce函数将结果进行汇整，从而输出开发者所需要的结果。

MapReduce借鉴了函数式程序设计语言的思想，其软件实现是指定一个Map函数，把键值对(Key/Value)映射成一个新的键值对(Key/Value)，形成一系列中间结果形式的(Key/Value)，然后把它们传递给Reduce函数，把具有相同中间形式Key的Value合并在一起。Map函数和Reduce函数具有一定的关联性。

接下来从Shuffler来详细描述Map和Reduce的细节

Shuffler就是reduce从map拉取数据的过程。(说的形象一点就是：将数据重新打乱汇聚到不同节点的过程，当然相同key需要汇聚在同一个节点)

以WordCount为例，假设有8个MapTask和3个ReduceTask

Map端整个流程分为4步：

(1)在MapTask执行时，其输入数据来源于HDFS的Block。Split和Block默认对应关系是一对一。在WordCount例子中，假设Map的输入数据都是像“aaa”这样的字符串。

(2