MapReduce——并行期望最大值化算法（EM在高斯混合分布中的应用）

首先给出期望最大值化算法在高斯混合分布中的应用，我们用《Pattern Recognition and Machine Learning》中第九章中的符号：

假设有个观测数据组成的集合，个高斯分布，

E步：

，，。

M 步：

，

，

，

，。

—————————————————————————————————————————————————————

并行的期望最大值化算法：

假设有个观测数据组成 的集合，个高斯分布，首先把这个观测数据，分成份（可以是不等分也可以是等分），假设这个子集，分别有

个观测数据，其中，然后，把这个子集，分别分布到个Mapper上，则：

E步：

第一个Mapper，就算关于第一个子集的

，，，

并同时计算：

，。

第二个Mapper，就算关于第二个子集的

，，，

并同时计算：

，。

以此类推：

在每一个Mapper上做类似的计算，

第个Mapper，就算关于第个子集的

，,，

并同时计算：

，。

M步：

在Reducer中，通过在Mapper中，求出的值，可以计算：

,

，

，。

然后把得到的,,广播到每一个Mapper中，然后，

在第一台Mapper中，计算

在第二台Mapper中，计算

以此类推:

在第M台Mapper中，计算

。

然后在Reducer中，可以计算：

,。