EM算法

一、EM算法推导需要用到的数学知识

1.1条件分布函数

条件分布的定义如下图所示，对于条件分布需要了解的是下面两个式子：

                                               

                                             

1.2边缘分布函数

                                      

最后，要记住下面的公式在推导过程中，会用到

                               

1.3 Jensen不等式

如果函数的二阶导数大于0则，

                                                                           

如果函数的二阶导数小于0则，

                                                             

下面以二阶导数大于0为例，来理解Jensen不等式。x有0.5的概率取到a点，x有0.5的概率取到b点。E[x]是x取值的期望值。f(E(x))是期望的函数。E（f(x)）是函数的期望。

 

二、EM算法

2.1符号说明

x为观测数据

z为隐含变量

Θ为参数

2.2 EM算法推导一

2.3、EM算法的推导二

 

2.4、EM算法收敛性的证明

EM算法的本质是利用极大似然估计的思想，所以要证明EM算法收敛只需要证明下一次迭代的Θ值比这一次迭代的Θ值大就可以了。即：

参考资料：

                        1>机器学习白板推导（10）-EM算法

                        2>CS229-吴恩达机器学习

                        3>李航-统计机器学习