EM算法似然函数的推导

EM算法似然函数的推导

现在要对似然函数$L（\theta）=\log \sum_zP(Y \mid Z,\theta)P(Z \mid \theta)$进行求解极大值，由于这里存在求和的形式，联想到期望的求和，这里是关于变量Z的期望，并且联想到和期望有关的不等式有Jensen不等式，因此引入Z的概率分布Q（z）作为期望中的变量X的概率分布，而剩下的作为期望中的自变量X。即似然函数如下变化。

$$L（\theta）=\log \sum_z Q(Z) \frac{P(Y \mid Z,\theta)P(Z \mid \theta)}{Q(Z)}$$ Jensen不等式有这样的定义，对于一个函数f，如果这个函数是凸函数，也就是f的二阶导数大于0，那么存在 $E[f(x)] \geq f(E[X])$，如果这个函数是凹函数，也就是f的二阶导数小于0，那么存在 $E[f(x)] \leq f(E[X])$，如果这个函数是常值函数，那么存在 $E[f(x)]=f(E[X])$。似然函数可以看成 $log(E[X])$，由于对数函数的二阶导数小于0，因此 $$L（\theta） \geq \sum_z Q(Z) \log\frac{P(Y \mid Z,\theta)P(Z \mid \theta)}{Q(Z)}$$ 现在想让式中的等号成立，那么必须保证X是常值函数，也就是 $\frac{P(Y \mid Z,\theta)P(Z \mid \theta)}{Q(Z)}=C$，这样可以获得 $Q(Z)=\frac{1}{C}P(Y \mid Z,\theta)P(Z \mid\theta)$由于Q（Z）是关于自变量X的概率分布，那么应该保证Q（Z）概率求和为1，即 $C=\sum_zP(Y \mid Z,\theta)P(Z \mid\theta)$，因此可得 $Q(Z)=\frac{P(Y \mid Z,\theta)P(Z \mid\theta)}{\sum_zP(Y \mid Z,\theta)P(Z \mid\theta)}$这样根据逆概率公式 $Q(Z)=P(Z\mid Y,\theta)$。
综上可得 $$L(\theta) \geq B(\theta，\theta)=\sum_zP(Z\mid Y,\theta)\log \frac{P(Y,Z \mid \theta)}{P(Z\mid Y,\theta)}$$
这里B的前一个参数是后验概率分布的参数，后一个参数是联合概率分布的参数，B是极大似然估计的下限函数。