EM算法思想

一、Jenson 不等式

如果 f 是凸函数，X 是随机变量，那么：

注意：特别地，如果 f 是严格凸函数，当且仅当 X 是常量时，上式取等号。

例如：

二、EM算法：

1、隐变量

似然函数下界

 其中：Z（Z1...Zk）是隐变量，它是不可观测的，

为完全数据，能观测到的x为不完全数据

 2、似然函数求下界(通过Jensen不等式)

注意：

 3、E-step 寻找紧的下界

通过Jensen不等式，等式两边相等的条件为X=C(常数)

于是通过Jensen不等式后的似然函数，等式两边相等的条件为

 

 4、M-step 估计一组 theta

 

三、EM思想应用在GMM混合模型上

GMM的对数似然函数是

 通过EM思想(隐变量，找到下边界，当下边界为最大值时，得出参数)

 就是Πj，高斯分布的概率密度函数就是关于某个高斯分布下的μ和σ有关 

1、对均值求偏导 

 是样本属于哪个类别

2、方差的解

 

3、另外一个参数用拉格朗日函数求解