EM算法理论简析

出处：http://www.fengchang.cc/post/85

吴恩达老师的讲义，说得比较清楚：我的圈评​

另一个比较好的有代码的讲解：这里​

可以解决一类带有潜变量的估计问题。

理论基础之一：詹森不等式，即对凸函数(convex)有如下定理：

特别注意其中的相等条件。

对凹函数(concave)结论类似但相反。

现在想用训练数据来训练一个概率模型，p(x,z)，其中z为潜变量，似然函数也给出如下：

问题来了，

第一，这个似然函数为毛选log?答：这是个凹函数，可以用詹森不等式。

第二，如何最大化该似然函数？答：

直接的方式找参数来最大化该似然函数是很难，EM算法就是通过一种间接的方法来处理的。如何间接呢？就是用詹森不等式找到一个该似然函数的下界。然后，迭代优化改下界。整体思路就是这样。

 

具体技巧在于如何通过一系列代数的技巧，构造一个詹森不等式出来。并可以证明，迭代过程是收敛的，这样就可以得到最终满足条件的参数。