【云计算】MapReduce工作原理 - 详解图

1. MapReduce的工作原理如下图所示

此文介绍Google引爆大数据时代的三篇论文之一MapReduce

Google大数据处理的3篇核心论文
《The Google File System》：http://research.google.com/archive/gfs.html
《MapReduce: Simplified Data Processing on Large Clusters》：http://research.google.com/archive/mapreduce.html
《Bigtable: A Distributed Storage System for Structured Data》：http://research.google.com/archive/bigtable.html

2.分析

2.1整体分析

Map有映射的意思，reduce则为减少

针对MapReduce整个过程简单概括是将一个大数据计算任务通过分片成子任务，再将子任务映射到map工作处理，在通过中间过程的处理输出给reduce，reduce再将处理结果汇总。有大到小处理，再将小处理结果整合， 这也正是分治思想的本质。

由于过程仅依靠语言分析不够清晰，对此我绘制如下图进行分析说明。

2.2举例分析

这里采用词频分析进行数据在每个模块变化进行分析

如需原图可私嚯，貌似放上去不是辣么清楚(ㄒoㄒ)~