【note】EM 算法

参考：《统计学习方法》第 9 章、《PRML》第 9 章

输入

观测变量数据 $Y$，隐变量数据 $Z$，联合分布 $P(Y,Z|\theta )$ ，条件分布 $P(Z|Y,\theta )$

目标

求 $\theta$ 以极大化 $L(\theta )=\log P(Y|\theta )=\log {\sum }_{Z}P(Y,Z|\theta )$

算法

令

$$Q(\theta ,{\theta }^{\prime })=E_Z[\log P(Y,Z|\theta )|Y,{\theta }^{\prime }]=\sum _{Z}P(Z|Y,{\theta }^{\prime })\log P(Y,Z|\theta )$$

随机初始化 ${\theta }^{(0)}$，每次迭代令 ${\theta }^{(i+1)}={\mathrm{argmax}}_{\theta }Q(\theta ,{\theta }^{(i)})$ ，直到收敛

证明

令

$$\begin{gathered} B(\theta ,{\theta }^{\prime })=L(\theta )-D_{KL}(P(Z|Y,{\theta }^{\prime })\Vert P(Z|Y,\theta )) \\ =\sum _{Z}P(Z|Y,{\theta }^{\prime })\log \frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }^{\prime })} \end{gathered}$$

则

$$\underset{\theta }{\mathrm{argmax}}B(\theta ,{\theta }^{\prime })=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{\prime })$$

则

$$L({\theta }^{(i+1)})\ge B({\theta }^{(i+1)},{\theta }^{(i)})\ge B({\theta }^{(i)},{\theta }^{(i)})=L({\theta }^{(i)})$$