（VAE）Auto-Encoding Variational Bayes

（VAE）Auto-Encoding Variational Bayes

引用： Kingma D P , Welling M .Auto-Encoding Variational Bayes[C]//International Conference on Learning Representations.Ithaca, NYarXiv.org, 2013.

论文链接： [1312.6114] Auto-Encoding Variational Bayes

代码链接： GitHub - AntixK/PyTorch-VAE: A Collection of Variational Autoencoders (VAE) in PyTorch.

简介

作者引入了一种随机变分推理和学习算法，该算法可以扩展到大型数据集，并且在一些温和的可微性条件下，甚至可以在棘手的情况下工作。在Auto-Encoding variational Bayesian (AEVB) 算法中，通过使用 SGVB (Stochastic Gradient Variational Bayes) 估计器来优化识别模型，从而使推理和学习变得特别高效，该模型允许我们使用简单的ancestra采样执行非常有效的近似后验推理，这反过来又使我们能够有效地学习模型参数，而无需每个数据点昂贵的迭代推理方案（例如 MCMC）。学习到的近似后验推理模型还可用于许多任务，例如识别、去噪、表示和可视化目的。当神经网络用于识别模型时，会得到variational auto-encoder。首先，变分下界的重新参数化会产生一个下界估计器，可以使用标准随机梯度方法直接优化该估计器。其次，对于每个数据点具有连续潜在变量的独立同分布数据集，通过使用提出的下界估计器将近似推理模型（也称为识别模型）拟合到棘手的后验，可以使后验推理特别有效。

Method

VAE可用于为具有连续潜在变量的各种有向图形模型推导下限估计器（随机目标函数）。在这里，将目标限制在常见的情况中，即有一个 i.i.d. 数据集，每个数据点都有潜在变量，并且希望对（全局）参数执行最大似然 （ML） 或最大后验 （MAP） 推理，并对潜在变量进行变分推理。

假设数据是由某个随机过程生成的，涉及一个未观察到的连续随机变量$ z$，过程分为两步：

1. 由某个先验分布$p_{{\theta }^{\ast }}(z)$生成的值$z^{(i)}$

2. 由某个条件分布$p_{{\theta }^{\ast }}(x|z)$生成的值$x^{(i)}$

假设先验 $p_{{\theta }^{\ast }}(z)$ 和似然 $p_{{\theta }^{\ast }}(x|z)$ 来自分布 $p_{\theta }(z)$ 和 $p_{\theta }(x|z)$ 的参数族，并且它们的 PDF 几乎可以在 $\theta$ 和 $z $ 的任何地方微分。不幸的是，这个过程的很多内容都隐藏在我们的视野之外：真正的参数 ${\theta }^{\ast }$ 以及潜在变量 $z^{(i)}$ 的值对我们来说是未知的。

注意，作者没有对边缘或后验概率做出常见的简化假设。

在本文中，还将识别模型$q_{\varphi }(z|x)$称为概率编码器（对棘手的真后验 $p_{\theta }(z|x)$ 的近似值），因为给定一个数据点 $x$，它会在编码 $z$ 的可能值上产生一个分布（例如高斯），从中可以生成数据点 $x$。同样，将 $p_{\theta }(x|z)$ 称为概率解码器，因为给定编码 $z$ 时，它会在可能的 $x$ 相应值上生成分布。

边际似然marginal likelihood由单个数据点的边际似然的总和组成，可以被写作：

$$\log p_{\theta }(x^{(i)})=D_{KL}(q_{\varphi }(z|x^{(i)})||p_{\theta }(z|x^{(i)}))+L(\theta ,\varphi ;x^{(i)})$$

第一个 RHS 项是近似值与真实后验值的 $KL$ 散度。由于这种 $KL$ 散度是非负的，因此第二个 RHS 项称为数据点 $i$ 边际似然的（变分）下界，可以写为：

$$\log p_{\theta }(x^{(i)})\ge L(\theta ,\varphi ;x^{(i)})=E_{q_{\varphi }(z|x)}\left[-\log q_{\varphi }(z|x)+\log p_{\theta }(x,z)\right]$$

$$L(\theta ,\varphi ;x^{(i)})=-D_{KL}(q_{\varphi }(z|x^{(i)})||p_{\theta }(z))+E_{q\varphi (z|x^{(i)})}\left[\log p_{\theta }(x^{(i)}|z)\right]$$

因此，需要对变分参数 $\phi$ 和生成参数 $\theta$ 的下界 $L(\theta ,\varphi ;x^{(i)})$ 进行微分和优化。

在某些温和条件下，对于选定的近似后验 $q_{\varphi }(z|x^{(i)})$，可以使用（辅助）噪声变量的可微变换 $g_{\varphi }(ϵ,x)$ 重新参数化随机变量 $\tilde { z } \sim q _ { \phi } ( z | x ) $。选择适当分布 $p(ϵ)$ 和函数 $g_{\varphi }(ϵ,x)$ ，可以对某个函数 $f(z)$ w.r.t. $q_{\varphi }(z|x)$ 的期望值进行蒙特卡罗估计，如下所示：

$$E_{q_{\varphi }(z|x^{(i)})}\left[f(z)\right]=E_{p(ϵ)}\left[f(g_{\varphi }(ϵ,x^{(i)}))\right]\simeq \frac{1}{L}\sum _{l=1}^{L}f(g_{\varphi }({ϵ}^{(l)},x^{(i)}))where{ϵ}^{(l)}\sim p(ϵ)$$

将此技术应用于变分下界，得到通用的随机梯度变分贝叶斯 （SGVB） 估计器:

$${\tilde{L}}^A(\theta ,\varphi ;x^{(i)})=\frac{1}{L}\sum _{l=1}^L\log p_{\theta }(x^{(i)},z^{(i,l)})-\log q_{\varphi }(z^{(i,l)}|x^{(i)})$$

$$where{z}^{(i,l)}=g_{\varphi }({ϵ}^{(i,l)},x^{(i)})and{ϵ}^{(l)}\sim p(ϵ)$$

通常，$KL$ 散度可以解析积分，因此只有重构误差期望需要通过抽样进行估计。然后，$KL$ 散度项可以解释为正则化，鼓励近似后验接近先前的 $p_{\theta }(z)$ 。给定来自具有 $N$ 个数据点的数据集 $X$ 的多个数据点，可以基于小批量构建一个完整数据集的边际似然下限的估计器：

$$L(\theta ,\varphi ;X)\simeq {\tilde{L}}^M(\theta ,\varphi ;X^M)=\frac{N}{M}\sum _{i=1}^M\tilde{L}(\theta ,\varphi ;x^{(i)})$$

在实验中发现，只要小批量大小 $M$ 足够大，例如 $M=100$，每个数据点的样本数 $L$ 就可以设置为 $1$。

目标函数第一项是（近似后验与前一项的KL散度）作为正则化器，而第二项是预期的负重建误差。选择函数 $g_{\phi }(.)$ 将数据点 $x^{(i)}$ 和随机噪声向量 ${ϵ}^{(l)}$ 映射到该数据点的近似后验样本：$z^{(i,l)}=g_{\varphi }({ϵ}^{(l)},x^{(i)})where{z}^{(i,l)}\sim q_{\varphi }(z|x^{(i)})$ 。随后，样本 $z^{(i,l)}$ 被输入到函数 $\log p _ { \theta } ( x ^ { ( i ) } | z ^ { ( i , l ) } ) $，它等于给定 $z^{(i,l)}$ 的生成模型下数据点 $x^{(i)}$ 的概率密度（或质量）。

基本的参数化技巧非常简单。设 $z$ 为连续随机变量，$q_{\varphi }(z|x)$ 为某种条件分布。然后，通常可以将随机变量 $z$ 表示为确定性变量 $z=g_{\varphi }(ϵ,x)$ ，其中 $ϵ$ 是具有独立边际 $p(ϵ)$ 的辅助变量，$g_\phi(.) $ 是一些由 $\phi$ 参数化的向量值函数。这种重新参数化很有用，因为它可用于重写期望值 w.r.t $q_{\varphi }(z|x)$，使期望值的蒙特卡洛估计值可微分w.r.t $\phi$。证明如下：

$$Considerz=g_{\varphi }(ϵ,x)anddz=\prod _{i}d{z}_i$$

$$q_{\varphi }(z|x)\prod _{i}d{z}_i=p(ϵ)\prod _{i}d{ϵ}_i$$

$$\int q_{\varphi }(z|x)f(z)dz=\int p(ϵ)f(z)dϵ=\int p(ϵ)f(g_{\varphi }(ϵ,x))dϵ$$

$$\int q_{\varphi }(z|x)f(z)dz\approx \frac{1}{L}\sum _{l=1}^{L}f(g_{\varphi }(x,{ϵ}^{(l)}))where{ϵ}^{(l)}\sim p(ϵ)$$

选择这样的可微变换 $g_{\varphi }(.)$ 和辅助变量 $ϵ\sim p(ϵ)$ 的三种基本方法是：

1. 易于处理的反向 CDF。设 $ϵ\sim U(0,I)$ ，设 $g_{\varphi }(ϵ,x)$ 为 $q_{\varphi }(z|x)$ 的逆 CDF。如指数分布、Cauchy分布、Logistic分布、Rayleigh分布、Pareto分布、Weibull分布、Reciprocal分布、Gompertz分布、Gumbel分布和Erlang分布。
2. 与高斯示例类似，对于任何“location-scale”分布族，可以选择标准分布（location = 0，scale = 1）作为辅助变量 $ϵ$ ，并让 $g(.)=location+scale\times ϵ$ 。如：拉普拉斯分布、椭圆分布、Student’s t,分布、逻辑分布、均匀分布、三角分布和高斯分布。
3. 组成：通常可以将随机变量表示为辅助变量的不同变换。示例：对数正态分布（正态分布变量的幂）、Gamma（指数分布变量的总和）、狄利克雷（Gamma 变量的加权和）、Beta、卡方和 F 分布。

实验结果