Hadoop11：MapReduce介绍

一、Hadoop之MapReduce详解

前面我们学习了Hadoop中的HDFS，HDFS主要是负责存储海量数据的，如果只是把数据存储起来，除了浪费磁盘空间，是没有任何意义的，我们把数据存储起来之后是希望能从这些海量数据中分析出来一些有价值的内容，这个时候就需要有一个比较厉害的计算框架，来快速计算这一批海量数据，所以MapReduce应运而生了，那MapReduce是如何实现对海量的快速计算的呢？它的底层原理是什么样的呢？不要着急，且听下面分解。

二、MapReduce介绍

在这里我们先举个例子来介绍一下MapReduce

计算扑克牌中的黑桃个数
就是我们平时打牌时用的扑克牌，现在呢，有一摞牌，我想知道这摞牌中有多少张黑桃

最直接的方式是一张一张检查并且统计出有多少张是黑桃，但是这种方式的效率比较低，如果说这一摞牌只有几十张也就无所谓了，如果这一摞拍有上千张呢？你一张一张去检查还不疯了？

这个时候我们可以使用MapReduce的计算方法
第一步：把这摞牌分配给在座的所有玩家
第二步：让每个玩家查一下自己手中的牌有多少张是黑桃，然后把这个数目汇报给你
第三步：你把所有玩家告诉你的数字加起来，得到最终的结果

之前是一张一张的串行计算，现在使用mapreduce是把数据分配给多个人，并行计算，每一个人获得一个局部聚合的临时结果，最终再统一汇总一下。
这样就可以快速得到答案了，这其实就是MapReduce的计算思想。

下面我们再通过具体的案例分析MapRed