Contrastive Divergence：一种结合变分推断与MCMC的方法

本文是对A Contrastive Divergence for Combining Variational Inference and MCMC的笔记整理。

Introduction

这篇文章是将VI和MCMC结合的一篇很有意思的文章。他的基本思想沿用了RBM中的Contrastive Divergence方法。他通过采用MCMC的方法来对变分函数q进行抽样从而得到更加准确的变分函数，然后再以此更新变分函数的参数，以次迭代直到收敛。

我们先回顾一下变分推断，更详细的介绍可以看我之前的两篇文章

1. 带你理解EM算法
2. 变分自编码器(VAE)

简单来说，当存在隐变量时，我们只能得到数据的marginal likelihood，此时，模型的优化就变得很困难，为此，我们希望能够找到一个分布$q_{\theta }(z)$来近似真实的分布$p(z|x)$，于是我们发现最小化散度$KL(q_{\theta }(z)\Vert p(z|x))$等价于最大化下界ELBO的函数：

$${\mathcal{L}}_{\text{ standard }}(\theta )={\mathbb{E}}_{q_{\theta }(z)}[f_{\theta }(z)]=-D_{KL}(q_{\mathbf{\theta }}(\mathbf{z})\Vert p(\mathbf{z}))+{\mathbb{E}}_{q_{\mathbf{\theta }}(\mathbf{z})}[\log p(\mathbf{x}|\mathbf{z})]$$

其中

$$f_{\theta }(z)\triangleq \log p(x,z)-\log q_{\theta }(z).$$

但是变分的缺陷在于，那个近似的分布q是无法保证近似的效果的，很有可能近似地很糟糕，与此同时，MCMC只要马尔科夫链长度足够，我们是一定能够恢复出真实的后验概率的，但是MCMC的速度又太慢了。所以，我们能不能将VI学到的$q_{\theta }(z)$作为MCMC的初始值，用MCMC迭代几轮，让他长得更像$p(z|x)$，然后再回去更新近似分布的参数$q_{\theta }(z)$，如此迭代地来即解决了变分近似不准的问题，又解决了MCMC速度慢的问题。

方法

我们用
$$q_{\theta }^{(t)}(z)=\int Q^{(t)}(z|z_0)q_{\theta }(z_0)d{z}_0$$

来表示使用$z_0$作为初始值，并经过t次$Q^{(t)}(z|z_0)$的转移而达到的分布记为$q_{\theta }^{(t)}(z)$。注意这个分布的解析解是无法计算的，他只是可以表示成这样而已。用这个新的q，我们的变分下界可以改进成：

$${\mathcal{L}}_{\text{ improved }}(\theta )={\mathbb{E}}_{q_{\theta }^{(t)}(z)}\left[\log p(x,z)-\log q_{\theta }^{(t)}(z)\right]$$

但问题是，现在$\theta$没法求导。一般的求导方法有两种，一种是重参数化，另一种是则是reinforce，像这样的：

$${\nabla }_{\varphi }{\mathbb{E}}_{q_{\varphi }(\mathbf{z})}[f(\mathbf{z})]={\mathbb{E}}_{q_{\varphi }(\mathbf{z})}[f(\mathbf{z}){\nabla }_{q_{\varphi }(\mathbf{z})}\log q_{\varphi }(\mathbf{z})]\simeq \frac{1}{L}\sum _{l=1}^{L}f(\mathbf{z}){\nabla }_{q_{\varphi }\left({\mathbf{z}}^{(l)}\right)}\log q_{\varphi }\left({\mathbf{z}}^{(l)}\right)$$

然而现在，因为$q_{\theta }^{(t)}(z)$的实际分布我们不知道，于是他概率密度的值$\log q_{\theta }^{(t)}(z)$是没法算的，那自然梯度也没法算，怎么办呢？能不能找到一个新的“下界”，使得下界永远是大于等于0的，且下界为0时恰好有$q_{\theta }(z)=p(z|x)$，更重要的是，不需要计算$\log q_{\theta }^{(t)}(\mathbf{z})$。为此，该文发现一个三角不等式

$$\begin{gathered} \mathrm{KL}(q_{\theta }(z)\Vert p(z|x))+\mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert q_{\theta }(z)\right)\ge \mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert p(z|x)\right) \\ ⟹\underset{{\mathcal{L}}_{\text{diff}}(\theta )}{\underbrace{\mathrm{KL}(q_{\theta }(z)\Vert p(z|x))-\mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert p(z|x)\right)}}+\mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert q_{\theta }(z)\right)\ge 0 \end{gathered}$$

注意，这个三角不等式成立的原因是因为$q_{\theta }^{(t)}(z)$一定更接近$p(z|x)$。于是我们定义

$${\mathcal{L}}_{\mathrm{V}\mathrm{C}\mathrm{D}}(\theta )\triangleq {\mathcal{L}}_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}(\theta )+\mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert q_{\theta }(z)\right)$$

这个新的目标函数很有意思，当$q_{\theta }(z)=p(z|x)$时，一定有$q_{\theta }^{(t)}(z)=p(z|x)$于是${\mathcal{L}}_{\mathrm{V}\mathrm{C}\mathrm{D}}=0$，而且根据三角不等式，他一定是大于0的，所以我们完全可以用这个来代替下界的目标函数，而且关键地方在于，他不需要计算$\log q_{\theta }^{(t)}(\mathbf{z})$，看如下推导：

$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{V}\mathrm{C}\mathrm{D}}(\theta )=& \mathrm{KL}(q_{\theta }(z)\Vert p(z|x))-\mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert p(z|x)\right)+\mathrm{K}\mathrm{L}\left(q_{\theta }^{(t)}(z)\Vert q_{\theta }(z)\right)\\ =& {\mathbb{E}}_{q_{\theta }(z)}\left[\log \frac{q_{\theta }(z)}{p(z|x)}\right]-{\mathbb{E}}_{q_{\theta }^{(t)}(z)}\left[\log \frac{q_{\theta }^{(t)}(z)}{p(z|x)}\right]+{\mathbb{E}}_{q_{\theta }^{(t)}(z)}\left[\log \frac{q_{\theta }^{(t)}(z)}{q_{\theta }(z)}\right]\\ =& {\mathbb{E}}_{q_{\theta }(z)}\left[\log \frac{q_{\theta }(z)}{p(z|x)}\right]-{\mathbb{E}}_{q_{\theta }^{(t)}(z)}\left[\log \frac{q_{\theta }(z)}{p(z|x)}\right]\\ =& {\mathbb{E}}_{q_{\theta }(z)}\left[\log \frac{q_{\theta }(z)p(x)}{p(z,x)}\right]-{\mathbb{E}}_{q_{\theta }^{(t)}(z)}\left[\log \frac{q_{\theta }(z)p(x)}{p(z,x)}\right]\\ =& {\mathbb{E}}_{q_{\theta }(z)}\left[\log \frac{q_{\theta }(z)}{p(z,x)}\right]-{\mathbb{E}}_{q_{\theta }^{(t)}(z)}\left[\log \frac{q_{\theta }(z)}{p(z,x)}\right]\\ =& -{\mathbb{E}}_{q_{\theta }(z)}[f_{\theta }(z)]+{\mathbb{E}}_{q_{\theta }^{(t)}(z)}[f_{\theta }(z)]\end{array}$$

神奇的事情发生了，在期望里面最讨厌的$\log q_{\theta }^{(t)}(z)$被消去了，接下来事情好办了，对于梯度，第一项的梯度我们可以用传统的方法解决，比如重参数化，对于第二项的梯度，可以这样算：

$$\begin{array}{rl}{\nabla }_{\theta }{\mathbb{E}}_{q_{\theta }^{(t)}(z)}[f_{\theta }(z)]& =\int q_{\theta }^{(t)}(z)\times {\nabla }_{\theta }{f}_{\theta }(z)dz+\int {\nabla }_{\theta }{q}_{\theta }^{(t)}(z)\times f_{\theta }(z)dz\\ & =-\int q_{\theta }^{(t)}(z)\times {\nabla }_{\theta }\log q_{\theta }(z_0)dz+\int \left({\nabla }_{\theta }\int Q^{(t)}(z|z_0)q_{\theta }(z_0)d{z}_0\right)\times f_{\theta }(z)dz\\ & =-{\mathbb{E}}_{q_{\theta }^{(t)}(z)}[{\nabla }_{\theta }\log q_{\theta }(z)]+\int \int Q^{(t)}(z|z_0)q_{\theta }(z_0){\nabla }_{\theta }\log q_{\theta }(z_0)d{z}_0\times f_{\theta }(z)dz\\ & =-{\mathbb{E}}_{q_{\theta }^{(t)}(z)}[{\nabla }_{\theta }\log q_{\theta }(z)]+{\mathbb{E}}_{q_{\theta }(z_0)}[{\mathbb{E}}_{Q^{(t)}(z|z_0)}[f_{\theta }(z)]{\nabla }_{\theta }\log q_{\theta }(z_0)]\end{array}$$

第二个等于号，首先第一项因为$p(x,z)$与参数$\theta$无关，所以${\nabla }_{\theta }{f}_{\theta }(z)={\nabla }_{\theta }\log q_{\theta }(z_0)$，针对第二项，根据定义$q_{\theta }^{(t)}(z)=\int Q^{(t)}(z|z_0)q_{\theta }(z_0)d{z}_0$代进去得到。第三个等于号是因为

$$\begin{array}{cl}{\nabla }_{\theta }{q}_{\theta }^{(t)}(z)& ={\nabla }_{\theta }\int Q^{(t)}(z|z_0)q_{\theta }(z_0)d{z}_0\\ & =\int Q^{(t)}(z|z_0)q_{\theta }(z_0){\nabla }_{\theta }\log q_{\theta }(z_0)d{z}_0\end{array}$$

于是这个梯度公式是完全可以用蒙特卡洛计算的，即我们$q_{\theta }^{(t)}(z)$的样本可以用MCMC得到，只需先采样$z_o\sim q_{\theta }(z)$，然后跑t次MCMC，得到$z\sim Q^{(t)}(z|z_0)$就可以了。

然而这样做得话，$\theta$的梯度方差显然比重参数化技术来的要大，又因为，随着t增加，参数$\theta$一定会跟采样的分布越来越独立，于是可以设置一个递减的参数C来解决这个问题。完整的算法如下：

参考资料

A Contrastive Divergence for Combining Variational Inference and MCMC