机器学习第十四课part2(EM,EM算法用于GMM)

EM算法

                 这里等于1是因为在Jensen不等式中系数加和为1

EM的算法流程：

初始化分布参数θ；

重复以下步骤直到收敛：

        E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值：

                                     

        M步骤：将利用Jensen不等式得到下界,然后似然函数最大化以获得新的参数值：

                

这个不断的迭代，就可以得到使似然函数L(θ)最大化的参数θ了。

      

EM收敛一种是不再变化,另一种是开始递减.

EM算法用于GMM

另一个讲的很好的帖子

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html