EM算法的公式详细推导

<

EM算法的推导

一   在进行EM算法公式推导之前，为了更好地理解，先来进行知识补充：

1：极大似然估计

在介绍极大似然估计之前，先来熟悉一下贝叶斯公式：

                                  

极大似然估计的目的是：利用已知样本结果，反推最有可能（最大概率）导致这样结果的参数值。它提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

假设观测到的样本集合为： S = {x1,x2,x3,...,xn} ,对于这一类样本，其联合概率密度函数f(x1,x2,x3,...,xn)，联合概率密度函数里面有未知的参数，似然函数为在的条件下，出现S的可能性为

要求得到一个值使得似然函数的值最大，估计的值为，一般为了方便，似然函数为对数似然函数，，然后对似然函数求偏导，即可求出对应的值。

2：凸函数以及其性质

凸函数 二阶导数是正数，具有下面的性质：如果函数是凸函数，则满足Jensen不等式：

，对于凹函数则相反

二  问题的描述：

如果已知样本结果，反推最有可能（最大概率）导致这样结果的参数值，可以使用极大似然估计，如果已知样本结果，但是在现实生活中有些数据收集不到，如果样本的数据缺失，或者样本的标签值缺失，那些反推最后可能（最大概率）导致这样结果的参数值就需要使用EM算法进行参数估计

三  公式推导

假如收集样本数据为S = {x1，x2，x3 ... Xn}，数据的缺失或者样本的标签缺失值的可能行为，i的取值范围为1到m。估计的未知参数为。则似然函数为

 

为了构造Jensen不等式，对同时乘以和除以，为出现的概率，得到如下：

 

我们可以观察到为 的均值，对于这一块，我详细解释一下，我们可以联想一下如果变量x可能取值为1,2,3，出现1,2,3 的可能性0.2,0.3,0.5那么变量x的均值就为 = 1*0.2 + 2*0.3 +3*0.5 , 因为为z的函数，且出现z的概率为，所以其均值就是。

所以可以得到：

= ,并且= 我们知道log（x）是凹函数，因为f(E（x）)>= E(f(x))所以

整个推导公式为：

对于凹函数我们知道，f(E（x）)= E(f(x)) x是个常数，故

因为 所以：，可以得到