变分推断学习

#! https://zhuanlan.zhihu.com/p/401456634

变分推断

1.变分推断的背景

   在机器学习中，有很多求后验概率的问题，求后验概率的过程被称为推断（Inference），推断分为精确推断和近似推断。精确推断一般主要是根据贝叶斯等概率公式推导出后验概率，但在一些生成模型中，如RBM, DBN, DBM很难应用精确推断，于是乎我们就有了近似推断，近似推断又分为确定性近似和随机性近似,确定性近似方法就是变分推断（Variance Inference， VI），随机性近似的方法有马尔可夫蒙特卡洛采样（Markov Chain Monte Carlo， MCMC）、Metropolis-Hastings采样（MH）、吉布斯采样（Gibbs）。具体关系如下图：

2.变分推断介绍

2.1.问题的提出

假设$X$是观测数据，$Z$是隐变量+参数，$(X,Z)$是完全数据。
在最大似然估计里面有这么个事实：
$\begin{array}{rl}\log p(x)& =\log p(x,z)-\log p(z\mid x)\\ & =\log \frac{p(x,z)}{q(z)}-\log \frac{p(z\mid x)}{q(z)}\end{array}$
两边都关于$z$积分有，左边=${\int }_z\log p(x)q(z)dz=\log p(x)$，而右边，
$$\begin{array}{rl}& {\int }_{z}q(z)\log \frac{p(x,z)}{q(z)}dz+\left(-{\int }_{z}q(z)\log \frac{p(z\mid x)}{q(z)}dz\right)\\ =& \mathcal{L}(q)+KL(q\Vert p)\end{array}\text{\hspace{1em}(1)}$$
其中$\mathcal{L}(q)$就是我们说的变分，也即ELBO,这样就把对数似然转化为了变分和$KL$散度的和。

因为后验函数$p(z|x)$求不出，所以我们的任务就是要找到一个分布$q(z)$来近似这个后验，也就是使$KL(q\Vert p)$最小，此时要求变分$\mathcal{L}(q)$达到最大值，也即把问题转化为了求$q(z)=\underset{q}{\mathrm{argmax}}\mathcal{L}(q)$

2.2.问题的转化

在介绍变分问题前，我们还需要了解到一个概念，平均场假设，这个假设来源于统计物理中的mean field theory思想，将$q(z)$划分为M个独立的分布，即$q(z)={\prod }_{i=1}^M{q}_i(z_i)$
代入$\mathcal{L}(q)$中有：
$\mathcal{L}(q)={\int }_{z}q(z)\log p(x,z)dz-{\int }_{z}q(z)\log q(z)dz$，其中第一部分：
$\begin{array}{rl}{\int }_{z}q(z)\log p(x,z)dz& ={\int }_z\prod _{i=1}^m{q}_i\left(z_i\right)\log p\left(x,z\right)dz\\ & ={\int }_{zj}{q}_j\left(z_j\right)\left[\int \prod _{i\ne j}^M{q}_i\left(z_i\right)\log p(x,z)d{z}_{1}d{z}_2\cdots d{z}_M\right]d{z}_j\\ & ={\int }_{z_j}{q}_j\left(z_j\right)\cdot E_{{\prod }_{i\ne j}^M{q}_i\left(z_i\right)}[\log p(x,z)]d{z}_j\\ & ={\int }_{z_j}{q}_j\left(z_j\right)\cdot log\hat{p}(x,z)]d{z}_j\end{array}$
$\begin{array}{rl}{\int }_{z}q(z)\log q(z)dz& ={\int }_z\prod _{i=1}^M{q}_i\left(z_i\right)\log \prod _{i=1}^M{q}_i\left(z_i\right)dz\\ & ={\int }_z\prod _{i=1}^m{q}_i\left(z_i\right)\sum _{i=1}^m\log q_i\left(z_i\right)dz\end{array}$
因为
$\begin{array}{rl}{\int }_z\prod _{i=1}^M{q}_i\left(z_i\right)\log q_{1}dz& ={\int }_{z_1}{q}_1\left(z_1\right)\log q_{1}d{z}_1{\int }_{z_2}{q}_2\left(z_2\right)d{z}_2\cdots {\int }_{z_m}{q}_m\left(z_m\right)d{z}_m\\ & ={\int }_{z_1}{q}_1\left(z_1\right)\log q_{1}d{z}_1\end{array}$
所以继续化简有：
$\begin{array}{rl}{\int }_{z}q(z)\log q(z)dz& =\sum _{i=1}^m{\int }_{z_i}{q}_i\left(z_i\right)\log q_i\left(z_i\right)d{z}_i\\ & ={\int }_{z_j}{q}_j\left(z_j\right)\log q_j\left(z_j\right)d{z}_j+C\end{array}$

此时只把$q_j(z_j)$看作变量，其余看作常量。所以
$\mathcal{L}(q)={\int }_{z_j}{q}_j\left(z_j\right)\log \frac{\hat{p}(x,z)}{q_j(z_j)}d{z}_j-C$因为$C$是常量,z在求极大的时候可以省略。故我们得到了：
$$\begin{array}{rl}\mathcal{L}(q)& ={\int }_{z_j}{q}_j\left(z_j\right)\log \frac{\hat{p}(x,z_j)}{q_j(z_j)}d{z}_j\\ & =-KL(q_j\Vert \hat{p}(x,z_j))\le 0\end{array}$$

注意，以上推导都是建立在平均场假设上。
  关于推导过程中的$KL$散度有一些细节问题，要知道$KL$散度是不对称的，$KL(q\Vert p)和KL(p\Vert q)$有着不同的性质，$KL(q\Vert p)$鼓励分布$q$在真实分布$p$达到高概率达到高概率，$KL(p\Vert q)$则鼓励分布$q$在真实分布$p$概率较低的地方概率较小，他们各自有其优缺点，应用则取决于两者哪种效果更好。出于计算的角度，我们选择用$KL(q\Vert p)$，因为其涉及求在分布$q$下的数学期望，比起求在真实分布$p$下的数学期望较为简单。
  实际上，VI和EM的方法有些类似，关于EM算法，下次再写。

2.3.问题的解决

  至此,我们推导出了变分的形式，变分学习的核心思想就是在一个关于$q$的有约束的分布族上最大化$\mathcal{L}$。要使$q=p$,则有$\mathcal{L}=0$，根据上面的推导过程，此时有公式
$$\log q_j(z_j)=E_{{\prod }_{i\ne j}}[\log p(x,z)]+C$$
展开就有
$$\log q_j(z_j)={\int }_{z_1}{\int }_{z_2}\cdots {\int }_{z_{j-1}}{\int }_{z_{j+1}}\cdots {\int }_{z_M}{q}_1{q}_2\cdots q_{j-1}{q}_{j+1}\cdots q_M\log p(x,z)d{z}_{1}d{z}_2\cdots d_{z_j-1}{d}_{z_j+1}\cdots d_M$$
然后我们用常规的迭代算法求解上式，比如坐标上升发就可以得到$\log q_j(z_j)$,然后求出所有的$q_j$就可以得到后验概率了，目的达到！

2.4.变分的缺点

通过上面的推导我们可以发现所有推导都是建立在平均场假设上的，而平均场假设本身就较难满足，所以变分的一个主要缺点就是假设很难满足，不实用。

2.5.变分的变种

我们上面说可以用坐标上升法来计算，那我们很自然的就可以想到可不可以用梯度上升法（SGA），答案是可以的。
我们要求解的问题是
$$q=\underset{q}{\mathrm{argmax}}\mathcal{L}(q)$$
把$q(z)$写成$q_{\Phi }(z)$,这里应用了以下重参数化的技巧，因为对概率密度函数求梯度是不容易的，所以我们抽象出了一个连续变量$\Phi$，从而可以对其求导，这里的$\Phi$仍然有
$$\Phi =\underset{\Phi }{\mathrm{argmax}}\mathcal{L}(\Phi )$$
因为
$$\mathcal{L}(q)={\int }_z{q}_{\Phi }(z)\log \frac{p(x,z)}{q_{\Phi }(z)}dz=E_{q_{\Phi }}[\log p_{\theta }(x,z)-\log q_{\Phi }]$$
所以
$$\begin{array}{rl}{▽}_{\Phi }\mathcal{L}(\Phi )& ={▽}_{\Phi }{E}_{q_{\Phi }}[\log p_{\theta }(x,z)-\log q_{\Phi }]\\ & ={▽}_{\Phi }{\int }_z{q}_{\Phi }(z)[\log p_{\theta }(x,z)-\log q_{\Phi }]dz\\ & ={\int }_z{▽}_{\Phi }{q}_{\Phi }(z)[\log p_{\theta }(x,z)-\log q_{\Phi }]dz+{\int }_z{q}_{\Phi }{▽}_{\Phi }[\log p_{\theta }(x,z)-\log q_{\Phi }]dz\\ & =①+②\end{array}$$
分析②
${\int }_z{q}_{\Phi }{▽}_{\Phi }[\log p_{\theta }(x,z)-\log q_{\Phi }]dz=-{\int }_z{q}_{\Phi }\ast \frac{1}{q_{\Phi }}\ast {▽}_{\Phi }{q}_{\Phi }dz=-{\int }_z{▽}_{\Phi }{q}_{\Phi }dz=-{▽}_{\Phi }{\int }_z{q}_{\Phi }dz=0$
所以
$${▽}_{\Phi }\mathcal{L}(q)={\int }_z{▽}_{\Phi }{q}_{\Phi }(z)[\log p_{\theta }(x,z)-\log q_{\Phi }]dz$$
用一个小技巧，${▽}_{\Phi }{q}_{\Phi }(z)=q_{\Phi }{▽}_{\Phi }\log q_{\Phi }$，有
$$\begin{array}{rl}& ={\int }_z{q}_{\Phi }{▽}_{\Phi }\log q_{\Phi }[\log p_{\theta }(x,z)-\log q_{\Phi }]dz\\ & =E_{q_{\Phi }}[{▽}_{\Phi }\log q_{\Phi }[\log p_{\theta }(x,z)-\log q_{\Phi }]\end{array}$$
此时就可以应用我们熟悉的采样方法来求解这个期望了，然后再进行梯度上升即可。
这里会有一个问题,就是期望中${▽}_{\Phi }\log q_{\Phi }$对样本点比较敏感，当$q_{\Phi }$较小时，其梯度会趋于无穷，这就造成了采样结果方差较高，这就意味着我们需要大量的样本去拟合这个期望，可以认为不太现实，所以我们继续介绍求解这个梯度的另外一个方法。
重参数化技巧:
令$z\sim g_{\Phi }(ϵ,x),ϵ\sim P(ϵ)$，在题解情况下有$z\sim q(z|x)\Rightarrow ϵ\sim P(ϵ)$，并且$q(z|x)dz=P(ϵ)dϵ$，这里是因为${\int }_{z}q(z|x)dz=1，{\int }_{ϵ}P(ϵ)dϵ=1$并且$ϵ$和$z$又有着对应关系，所以上述等式成立。
$$\begin{array}{rl}{▽}_{\Phi }\mathcal{L}(\Phi )& ={▽}_{\Phi }{E}_{q_{\Phi }}[\log p_{\theta }(x,z)-\log q_{\Phi }]\\ & ={▽}_{\Phi }\int (\log p_{\theta }(x,z)-\log q_{\Phi })q_{\Phi }dz\\ & ={▽}_{\Phi }{\int }_{ϵ}(\log p_{\theta }(x,z)-\log q_{\Phi })P(ϵ)dϵ\\ & ={▽}_{\Phi }{E}_{P(ϵ)}[\log p_{\theta }(x,z)-\log q_{\Phi }]\\ & =E_{P(ϵ)}[{▽}_{\Phi }(\log p_{\theta }(x,z)-\log q_{\Phi })]\\ & =E_{P(ϵ)}[{▽}_z(\log p_{\theta }(x,z)-\log q_{\Phi })\cdot {▽}_{\Phi }z]\\ & =E_{P(ϵ)}[{▽}_z(\log p_{\theta }(x,z)-\log q_{\Phi })]{▽}_{\Phi }{g}_{\Phi }(ϵ,x)\end{array}$$
其中，$P(ϵ)$是我们自己取的分布， 如均匀分布、正态分布，方便采样，${▽}_z(\log p_{\theta }(x,z)-\log q_{\Phi })$和${▽}_{\Phi }{g}_{\Phi }(ϵ,x)$都是已知的假设条件，此时再根据MCMC采样就可以得到梯度值了。然后根据梯度上升公式更新即可
$${\Phi }^{(t+1)}={\Phi }^{(t)}+\lambda {▽}_{\Phi }\mathcal{L}(\Phi )$$
这就是随机梯度变分法（Stochastic Gradient Variational Inference, SGVI）。

3.总结

  我们说明了变分的背景，以及变分推断的作用，是为了求一些在比较难求的后验，通常在无向图里使用。第二部分我们从最原始的条件推导变分，利用了平均场假设，说明了可以用坐标上升法和梯度上升法来求取后验。变分的主要作用就是求后验概率。
水平有限，如有错误，敬请指正。