关于EM算法的简单讲解

EM算法

EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。例如估计LDA中的隐变量topic的分布，高斯混合模型中观测数据来自第k个的高斯分布的概率数据。

EM算法的每次迭代由两步组成：E步，求期望（expection）;M步，求极大（maximization）

E步的公式如下：

M步的公式如下：

EM算法的两大定理：
定理一：观测数据的似然函数序列为单调递增，即P(Y| theta(i+1))>= P ( Y | theta(i))
定理二：如果似然函数有上界，那么似然函数序列收敛到某一值L

补充

数学期望：离散随机变量的一切可能取值与其对应的概率P的乘积之和。
最大似然估计：若X为离散型随机变量，其概率分布的形式为P{X=x}=p(x;theta). 当样本值确定时，所有样本的乘积可以看作是theta的函数，并称为似然函数。由于已经得到了样本值（x1,…,xn),那它的出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使似然函数达到最大值的那个theta做为真theta的估计
参考文献：龙永红的《概率论与梳理统计》、李航的《统计学习方法》