《统计学习方法》笔记——EM公式推导

EM算法

问题描述

EM算法是一种利用数据估计生成模型的算法。即求解目标为数据满足的概率模型。
假设观测变量为 Y = { y 1 , y 2 , … , y N } Y=\{y_1,y_2,\dots,y_N\} Y={ y1​,y2​,…,yN​}，隐藏变量为$Z$，估计参数为$\theta$。
根据最大似然估计的思想，很自然的想法就是寻找合适的参数$\theta$，使得取得观测值的概率最大。
$$\arg \underset{\theta }{\max }P(Y|\theta )\text{\hspace{1em}(1)}$$
一般我们认为样本之间独立同分布，因此有
$$P(Y|\theta )=\prod _{j=1}^{N}P(y_j|\theta )\text{\hspace{1em}(2)}$$
为了方便运算，一般将$(1)$式改写为如下形式
$$\arg \underset{\theta }{\max }\log P(Y|\theta )\text{\hspace{1em}(3)}$$
由于隐藏变量的存在，这个最值问题无法直接求解，因此使用EM算法来迭代

算法导出

首先定义$L(\theta )$
$$L(\theta )\triangleq \log P(Y|\theta )\text{\hspace{1em}(4)}$$
迭代过程中我们希望求得的${\theta }^{(1)},{\theta }^{(2)},\cdots ,{\theta }^{(i)},\cdots$保证$L(\theta )$能够单调递增。为此，考虑$L(\theta )-L({\theta }^{(i)})$
$$\begin{array}{rl}L(\theta )-L({\theta }^{(i)})& =\log (P(Y|\theta ))-\log (P(Y|{\theta }^{(i)}))\\ & =\log (P(Y|Z,\theta )P(Z|\theta ))-\log (P(Y|{\theta }^{(i)}))\\ & =\log (P(Z|Y,{\theta }^{(i)})\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})})-\log (P(Y|{\theta }^{(i)}))\\ & =\log (E_{P(Z|Y,{\theta }^{(i)})}[\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})}])-\log (P(Y|{\theta }^{(i)}))\\ & ⩾E_{P(Z|Y,{\theta }^{(i)})}[\log (\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})})]-E_{P(Z|Y,{\theta }^{(i)})}[\log (P(Y|{\theta }^{(i)}))]\\ & =E_{P(Z|Y,{\theta }^{(i)})}[\log (\frac{P(Y|Z,\theta )P}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}\end{array}$$