Expectation Maximization

阅读http://blog.pluskid.org/?p=81文章中的一些知识整理:

=====================================================================

Andrew Ng 关于EM有两个不错的课件

http://www.stanford.edu/class/cs229/notes/cs229-notes7b.pdf Mixtures of Gaussians and the EM algorithm

http://www.stanford.edu/class/cs229/notes/cs229-notes8.pdf The EM algorithm


=====================================================================

EM算法前面公式推导就是利用Jensen不等式缩放期望。建立下界然后优化下界。

                       clip_image035.

                                                          clip_image063.

                                                          clip_image069.

                                                 clip_image070.

                         在给定clip_image077[2]clip_image084.

                          固定clip_image086,并将clip_image088视作变量,对上面的clip_image090求导后,得到clip_image092.

                           clip_image093

             而对于所有的clip_image097[1]clip_image026[5]都成立     clip_image098

如果我们定义clip_image103从前面的推导中我们知道clip_image105,EM可以看作是J的坐标上升法,E步固定clip_image026[8],优化clip_image107,M步固定clip_image107[1]优化clip_image026[9]

图解:

                            


        图中的直线式迭代优化的路径,可以看到每一步都会向最优值前进一步,而且前进路线是平行于坐标轴的,因为每一步只优化一个变量。犹如在x-y坐标系中找一个曲线的极值,然而曲线函数不能直接求导,因此什么梯度下降方法就不适用了。但固定一个变量后,另外一个可以通过求导得到,因此可以使用坐标上升法,一次固定一个变量,对另外的求极值,最后逐步逼近极值。对应到EM上,E步:固定θ,优化Q;M步:固定Q,优化θ;交替将极值推向最大。

高斯的EM应用见,http://blog.csdn.net/abcjennifer/article/details/8198352

====================================================================




发布了347 篇原创文章 · 获赞 607 · 访问量 260万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览