最好先理解一下主成分分析的证明过程,下面的说明是在理解主成分分析的基础上的。
我们说过出现矩阵相乘的地方,就可以用MapReduce。
在主成分分析中,最后用的是协方差矩阵的特征值,而在求协方差矩阵时,用的就是矩阵的加减乘除,所以在这个地方可以用MapReduce。
我们知道协方差矩阵为:
其中代表已知训练集,均值。
所以,我们可以把训练集分成份,分别再台计算机上运行,实现Map过程,
最后把结果合在一起就是Reduce的过程。
——————————————————————————————————————————————————————————————————————————————
后续,接着说一下比较复杂的机器学习算法中的MapReduce过程。