MapReduce实现二阶矩阵相乘

二阶矩阵相乘公式

上例中的C11=A11*B11+A12*B21+A13*B31=1*3+0*2+2*1=5、C12=A11*B12+A12*B22+A13*B32=1*1+0*1+2*0=1

分析

 因为分布式计算的特点，需要找到相互独立的计算过程，以便能够在不同的节点上进行计算而不会彼此影响。根据矩

阵乘法的公式，C中各个元素的计算都是相互独立的，即各个cij在计算过程中彼此不影响。这样的话，在Map阶段可

以把计算所需要的元素都集中到同一个key中，然后，在Reduce阶段就可以从中解析出各个元素来计算cij。  另外，

以a11为例，它将会在c11、c12...c1p的计算中使用，以b11为例，它将会在c11、c21...cm1的计算中使用，也就是说，在Map阶段，当我们从HDFS取出一行记录时，如

果该记录是A的元素，则需要存储成p个<key, value>对，并且这p个key互不相同；如果该记录是B的元素，则需要存

储成m个<key, value>对，同样的，m个key也应互不相同；但同时，用于存放计算cij的ai1、ai2……ain和b1j、

b2j……bnj的<key, value>对的key应该都是相同的，这样才能被传递到同一个Reduce中。

设计

普遍有一个共识是：数据结构+算法=程序，所以在编写代码之前需要先理清数据存储结构和处理数据的算法。

Map阶段

在Map阶段，需要做的是进行数据准备。把来自矩阵A的元素aij，标识成p条<key, value>的形式，key="i,k",（其中

k=1,2,...,p），value="A,j,Aij"；把来自矩阵B的元素bij，标识成m条<key, value>形式，key="k,j"（其中

k=1,2,...,m），value="B,i,Bij"。  经过处理，用于计算cij需要的a、b就转变为有相同key（"i,j"）的数据对，通过value

中"A"、"B"能区分元素是来自矩阵A还是矩阵B，以及具体的位置（在矩阵A的第几列，在矩阵B的第几行）。

Shuffle阶段

这个阶段是Hadoop自动完成的阶段，具有相同key的value被分到同一个list中，形成<key,list(value)>对，再传递给Reduce。

Reduce阶段 

在Reduce阶段，有两个问题需要解决：

a. 当前的<key, list(value)>对是为了计算矩阵C的哪个元素？因为map阶段对数据的处理，key（i,j）中的数据对，就

是其在矩阵C中的位置，第i行j列。

b. list中的每个value是来自矩阵A或矩阵B的哪个位置？这个也在map阶段进行了标记，对于value（x,y,z），只需要找

到y相同的来自不同矩阵（即x分别为A和B）的两个元素，取z相乘，然后加和即可。

矩阵的两种表示方式
</