最大期望（EM）算法

一、最大期望（EM）算法：

EM算法是在依赖于无法观测的隐藏变量的概率模型中，寻找参数最大似然估计或者最大后验估计的算法。

二、最大期望算法的两个步骤：

第一步是计算期望（E），利用概率模型参数的现有估计值，计算隐藏变量的期望。

第二步是最大化（M），利用E 步上求得的隐藏变量的期望，对参数模型进行最大似然估计，M 步上找到的参数估计值被用于下一个 E 步计算中，这两个过程不断交替进行。

三、EM算法流程：

1.初始化分布参数

2.重复直到收敛

四、

例子: 模拟两个正态分布的均值估计

由于我们使用的是高斯分布，即p服从高斯分布。在上述M-step中，我们要最大化如下式子:

这里的θ是我们要估计的均值。

然后对这个求导：