大数据学习笔记12：理解MapReduce

理解MapReduce

 

1、MapReduce  时两个过程

      map：匹配 或者 叫映射

     reduce ： 汇总

 

2、MapReduce 体现了分而治之的思想

 

3、MapReduce 是移动计算  而非移动数据

 

4、统计单词出现个数的例子

     一本书1000页。---假定单页印刷

    我们找来 1010人，其中一千人 一人一页来分别统计本页的单词出现情况。

    另外10人 来汇总 那1000人的 统计结果。

   其中的 1000人做的 就是 Map ，把大任务划分成多个小块，分别计算。

   另外10执行的就是 reduce，汇总计算。-- reduce 英文本意就是 减少 、缩小的 意思。

 

5、数钱的例子

     桌子上一大堆钱，有面值 100、50 、10 块的。

     map：桌子做一圈 10个人 ，每人分一堆钱，整理钱--把100的放一摞、50一摞、10块一摞

     reduce：最后三个人 收汇总的钱 ，一个人管100的  一个人管50的 一个管10块的。

                    三个人分别计算自己钱数，最后就得到总钱数。

 

 

 

6、MapReduce 处理的目标：海量数据

 

 

7、 MapReduce 是一个分布式 计算框架。

 

 

8、MapReduce 框架 解决了那些问题：

     

     8.1   数据分布式存储---使用HDFS

     8.2   作业调度

     8.3   容错处理

     8.4    机器见通讯的复杂处理