MapReduce之起源篇

基本概念

MapReduce是由Google提出的一种面向大规模数据处理的并行计算模型和方法。Google提出;MapReduce的初衷是为了解决其搜索引擎中大规模的网页数据的并行化处理；到目前为止，Google公司内有上万个各种不同的算法问题和程序使用MapReduce进行处理

MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。

来源

来源于pageRank也就是我们网页排名的问题；就像我们使用百度，百度搜索出你要的内容，会给我们返回很多链接，这个就相当于page；那我们搜索得到的page的排名结果，这个排名会有相应的分数，这个分数就相当于Rank；page的Rank越高（分数越高）排名会越靠前

2004年12月，Google在某次国际会议上分别发布了MapReduce的论文，也公布了Google的MapReduce的基本原理和主要设计思想，Hadoop MapReduce其实也是Google MapReduce的克隆版