通过矩阵乘法来搞懂MapReduce？

                               （一）

                   矩阵乘法来理解MapReduce

1. 要求使用计算机计算矩阵相乘（两个矩阵大小超过计算机内存大小）

    2. 因为矩阵相乘是指行*列，故可以把第一个矩阵第一行记作A1和另一个矩阵的第一列记作B1，以下类推.....分别推送到一台服务器上去执行行列乘积，(这就对应于MapReduce中Map)如果这个矩阵的大小为100行*100列，那么我们就需要100台机器去并行执行每行每列的计算乘积。如下图：

    3 . 各个计算机全部处理完毕后会对各个机器计算的结果进行汇总，最后输出结果。(这就对应于MapReduce中Reduce)。

  （二）

  使用场景及分析

        从上面的计算过程来看MapReduce是采用了各个击破的套路，先把一个大的计算过程，分解成小的计算过程并计算出每个过程的计算结果，最后把各个计算结果合并起来就得到完整的计算结果。不仅可以解决单台机器配置问题，而且可以并行计算，加快计算速度。

        MapReduce在数据分析中起着非常重要作用，比如我们需要对用户访问某个URL进行分析，如果没有MapReduce的话我们需要不断串行读取，不断循环分析或者优化后采用多线程也会很复杂，但是有了MapReduce模型之后我们就可以把数据拆分开并行分析处理，最后汇总。特别适合数据量大，存在重复性高，汇总后结果比较小的使用场景。

 （三）
  总结

      由此可以看出MapReduce的道理是非常简单的，主要采用了分治的思想。他也非常符合日常生活常理，当我们做一件比较大的工作时，通常习惯性把一个大任务拆分成多个小任务，然后各个击破处理。

                                  

关注了解更多