对于EM算法的一点思考

动机

当我们存在隐变量的时候，我们从数据中观察到的$p(x)$，可能是有隐变量z所影响得到的$p(x|z)$，当我们要计算
$$\begin{array}{rl}\mathcal{L}(\theta )& =\sum _{i=1}^N\log (p(x_i|\theta ))\\ & =\sum _{i=1}^N\log [\sum _{z_i}p(x_i,z_i|\theta )]\\ & =\sum _{i=1}^N\log \left[\sum _{z_i}\right[p(x_i|z_i,\theta )p(z_i|\theta )\left]\right]\end{array}$$
如果p是个指数族分布，log就可以直接作用于p，似然度就很好求，但是log被${\sum }_z$截断，又因为z是隐变量，我们不知道z的取值，所以需要找其他的方法去优化。

想法

我们引入一个$q_i(z_i)$代表$z_i$的分布
$$\begin{array}{rl}\log p(x_i|\theta )& =\log p(x_i,z_i|\theta )-\log p(z_i|x_i,\theta )\\ & =\log \frac{p(x_i,z_i|\theta )}{q_i(z_i)}-\log \frac{p(z_i|x_i,\theta )}{q_i(z_i)}\\ & =\log p(x_i,z_i|\theta )-\log q_i(z_i)-\log \frac{p(z_i|x_i,\theta )}{q_i(z_i)}\\ & =\int q_i(z_i)\log p(x_i,z_i|\theta )\mathrm{d}z-\int q_i(z_i)\log q_i(z_i)\mathrm{d}z-\int q_i(z_i)\log \frac{p(z_i|x_i,\theta )}{q_i(z_i)}\mathrm{d}z\\ & =\underset{\text{ELBO}}{\underbrace{E_{z_i}(\log p(x_i,z_i|\theta ))+H(z_i)}}+KL(q_i(z_i)||p(z_i|x_i,\theta ))\end{array}$$
因为对于KL散度是非负数，那么就有
$$\log p(x_i|\theta )\ge E_{z_i}(p(x_i,z_i|\theta ))+H(z_i)$$
那么我们让KL散度为0，也就是$q_i(z_i)=p(z_i|x_i,\theta )$，我们所要求的似然值就等于$E_{z_i}(p(x_i,z_i|\theta ))+H(z_i)$，也就是ELBO，那么我们接下来的任务就是最大化ELBO。
对于$H(z_i)$来说是个常数，我们不用管，那么最后的任务就是最大化$E_{z_i}(p(x_i,z_i|\theta ))$。
又因为我们让KL散度等于0，存在$q_i(z_i)=p(z_i|x_i,\theta )$
$$\begin{array}{rl}ELB{O}_i& =E_{z_i}(p(x_i,z_i|\theta ))+const\\ & =\int q_i(z_i)\log p(x_i,z_i|\theta )\mathrm{d}z+const\\ & =\int p(z_i|x_i,\theta )\log p(x_i,z_i|\theta )\mathrm{d}z+const\end{array}$$

嘴炮实现

利用初始化的$\theta$计算上面的式子，再根据上面的式子更新$\theta$，迭代到收敛为止。

目前的想法

貌似要知道隐变量到底是如何作用到结果的，感觉有点奇怪。而且初值敏感好像很多迭代的算法对初值敏感。

参考资料

带你理解EM算法
统计学习方法