EM(Expectation Maximization) 算法推导（一）

EM算法公式推导

最近一直在B站上看一个UP主的机器学习白板推导，感觉很有益处，因为之前看过的各种博客似乎都一直强调对EM算法的感性认识，缺少了很多的推导过程。我想，要完全理性地了解这个算法，还是要一步一步地通过推导。

主要参考资料：白板推导视频

以下所有推导公式都是latex手打。

参数估计与EM算法

EM算法解决的其实是一个参数估计的问题。在普通的参数估计中
我们要做的其实是
$$\theta =\mathrm{argmax}P(X|\theta )$$
其中X是现有的已知数据（观测变量），而$\theta$则是参数，这个参数代表的可以只有一个参数，也可以是很多参数。

在概率统计中其实我们学过参数估计的方法，也就是矩估计法估计和极大似然估计。我们在实际中用的更多的是极大似然估计，在及算法的过程中常常有一个技巧，将连乘后的结果取log为底，这也就有了对数似然的这个概念。如下图所示：
$$L(X;\theta )=P(x_1|\theta )\cdot P(x_2|\theta )\cdots P(x_n|\theta )$$
$$\log L(X;\theta )=\sum _{i=i}^n\log (x_i|\theta )$$
最后对$\theta$进行求导并为0，可以得到$\hat{\theta }$关于$X$的表达式。

回到EM算法，EM算法要解决的也就是一个参数估计的问题，但很多参数估计问题，你所知道的仅仅是观测变量，也就是$X$，有很多问题还有隐变量（latent variables），这里用$Z$来表示。

举个例子，在高斯分布中，如果要估计$\mu$和$\sigma$其实很简单，根据刚刚所给出的极大似然估计公式，可以得到$\hat{\mu }=\bar{X}$，${\hat{\sigma }}^2={\sum }_{i=1}^n(x_i-\bar{X}{)}^2$

但在也就是高斯混合模型 GMM中，我们得到了由这个分布生成了诸多数据X，求的是各个单独高斯模型的均值和方差，也就是$\theta$，但还有一个隐变量$Z$我们是不知道的，也是生成$X$这组数据的关键：每个点($x_i$)到底是由哪一个高斯分布生成的。

所以，我们看似求的是$$\theta =\mathrm{argmax}P(X|\theta )$$
实际上求的是$$\theta =\mathrm{argmax}P(X,Z|\theta )$$

所以在EM算法的整个过程大致就是：
先计算$Z$的期望$E_{z|x,{\theta }^{(t)}}[\log P(X,Z|\theta )]$,也就是EM的E-step（Expectation）
再求得${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}{E}_{z|x,{\theta }^{(t)}}[\log P(X,Z|\theta )]$，也就是EM的M-step（Maximization）。
以此往复迭代，最后得到我们所要的$\theta$

所以看出来了，EM是一个迭代算法，可以写出$\theta$的迭代公式：

$${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}{\int }_z\log P(x,z|\theta )\cdot P\left(z|x,{\theta }^{(t)}\right)dz$$

$$=\underset{\theta }{\mathrm{argmax}}{E}_{z|x,{\theta }^{(t)}}[\log P(x,z|\theta )]$$

EM算法的收敛性证明

实际上我们要证明的是下式，也就是说在不断迭代的过程中，对数似然在不断增加。
$$\log P(x|{\theta }^{(t)})⩽\log P\left(x|{\theta }^{(t+1)}\right)$$

现在我们令$$f(x)=\log P(x|\theta )$$
也即是要证明：
$$f({\theta }^{(t)})-f({\theta }^{(t+1)})\le 0$$

$$\begin{array}{rl}f(x)=& \log P(x|\theta )=\log \frac{P(x,z|\theta )}{P(z|x,\theta )}\\ =& \log P(x,z|\theta )-\log P(z|x,\theta )\\ {\int }_{z}f(x)P(z|x,{\theta }^{(t)})dz=& {\int }_z[\log P(x,z|\theta )]P(z|x,{\theta }^{(t)})dz\\ -& {\int }_z[\log P(z|x,\theta )]P(z|x,{\theta }^{(t)})dz\end{array}$$

最后一步是对左右两边同时求$E_{z|x,\theta }$期望。左边由于$f(x)$与$z$无关，所以积分后仍然为$f(x)$。

$$\begin{array}{rl}f({\theta }^{(t)})-f({\theta }^{(t+1)})=& {\int }_z[\log P(x,z|{\theta }^{(t)})]P(z|x,{\theta }^{(t)})dz\\ -& {\int }_z[\log P(z|x,{\theta }^{(t)})]P(z|x,{\theta }^{(t)})dz\\ -& {\int }_z[\log P(x,z|{\theta }^{(t+1)})]P(z|x,{\theta }^{(t)})dz\\ +& {\int }_z[\log P(z|x,{\theta }^{(t+1)})]P(z|x,{\theta }^{(t)})dz\end{array}$$

一共有四项加减，我们证明第一项和第三项和小于等于0，再证明第二项和第四项和小于等于0。
注意到$${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}{\int }_z\log P(x,z|\theta )\cdot P\left(z|x,{\theta }^{(t)}\right)dz$$
所以
$${\int }_z\log P(x,z|{\theta }^{(t+1)})\cdot P\left(z|x,{\theta }^{(t)}\right)dz\ge {\int }_z\log P(x,z|{\theta }^{(t)})\cdot P\left(z|x,{\theta }^{(t)}\right)dz$$

要注意$\theta$和${\theta }^{(t)}$是不一样的，$\theta$是一个变量，而在计算${\theta }^{(t+1)}$时${\theta }^{(t)}$是一个已知量（常量）。

再有
$$\begin{gathered} -{\int }_z[\log P(z|x,{\theta }^{(t)})]P(z|x,{\theta }^{(t)})dz+{\int }_z[\log P(z|x,{\theta }^{(t+1)})]P(z|x,{\theta }^{(t)})dz \\ ={\int }_{z}P(z|x,{\theta }^{(t)})\log \frac{P(z|x,{\theta }^{(t+1)})}{P(z|x,{\theta }^{(t)})}dx \\ =-KL(P(z|x,{\theta }^{(t)})||P(z|x,{\theta }^{t+1}))\le 0 \end{gathered}$$

也可以用Jensen Inequation来证明小于等于0。

综上，可以得到
$$f({\theta }^{(t)})-f({\theta }^{(t+1)})\le 0$$
也就证明得到
$$\log P(x|{\theta }^{(t)})⩽\log P\left(x|{\theta }^{(t+1)}\right)$$

EM算法的收敛性证明到此。