一、最大期望(EM)算法:
EM算法是在依赖于无法观测的隐藏变量的概率模型中,寻找参数最大似然估计或者最大后验估计的算法。
二、最大期望算法的两个步骤:
第一步是计算期望(E),利用概率模型参数的现有估计值,计算隐藏变量的期望。
第二步是最大化(M),利用E 步上求得的隐藏变量的期望,对参数模型进行最大似然估计,M 步上找到的参数估计值被用于下一个 E 步计算中,这两个过程不断交替进行。
三、EM算法流程:
1.初始化分布参数
2.重复直到收敛
四、
例子: 模拟两个正态分布的均值估计
由于我们使用的是高斯分布,即p服从高斯分布。在上述M-step中,我们要最大化如下式子:
这里的θ是我们要估计的均值。
然后对这个求导: