详解变分自编码器——VAE

本文将介绍另一生成模型——变分自编码器VAE。

详解变分自编码器——VAE

VAE全称（Variational Auto-Encoder）即变分自编码器。是一个生成模型。

了解VAE之间，我们先简单了解一下自编码器，也就是常说的Auto-Encoder。

Auto-Encoder包括一个编码器（Encoder）和一个解码器（Decoder）。其结构如下：

中间的这层code也称embedding。

VAE的目标

先假设一个隐变量Z的分布，构建一个从Z到目标数据X的模型，即构建$X=g(Z)$，使得学出来的目标数据与真实数据的概率分布相近。与GAN基本一致，GAN学的也是概率分布。

模型结构

VAE的结构图（图源自苏老师的博客，侵删）如下：

VAE对每一个样本$X_k$匹配一个高斯分布，隐变量Z就是从高斯分布中采样得到的。对K个样本来说，每个样本的高斯分布假设为$\mathcal{N}({\mu }_k,{\sigma }_k^2)$，问题就在于如何拟合这些分布。

VAE构建两个神经网络来进行拟合均值与方差。即${\mu }_k=f_1(X_k),log{\sigma }_k^2=f_2(X_k)$，拟合$log{\sigma }_k^2$的原因是这样无需加激活函数。

此外，VAE让每个高斯分布尽可能地趋于标准高斯分布$\mathcal{N}(0,1)$。这拟合过程中的误差损失则是采用KL散度作为计算。

下面做详细推导。

原理推导

其实，VAE与同为生成模型的GMM（高斯混合模型）也有很相似，实际上VAE可看成是GMM的一个distributed representation的版本。我们知道，GMM是有限个高斯分布的隐变量 $z$ 的混合，而VAE可看成是无穷个隐变量 $z$ 的混合，注意，VAE中的 $z$ 可以是高斯也可以是非高斯的。只不过一般用的比较多的是高斯的。

原始样本数据 $x$ 的概率分布:
$$P(x)={\int }_{Z}P(x)P(x|z)dz$$
我们假设 $z$ 服从标准高斯分布，先验分布 $P(x|z)$ 是高斯的，即 $x|z\sim N(\mu (z),\sigma (z))$ 。$\mu (z)、\sigma (z)$是两个函数， 分别是$z$对应的高斯分布的均值和方差（如下图），则 $P(x)$ 就是在积分域上所有高斯分布的累加。

由于 $P(z)$ 是已知的，$P(x|z)$ 未知，所以求解问题实际上就是求$\mu ,\sigma$这两个函数。我们最开始的目标是求解$P(x)$，且我们希望$P(x)$越大越好，这等价于求解关于 $x$ 最大对数似然：
$$L=\sum _{x}logP(x)$$

而 $logP(x)$ 可变换为：
$$\begin{array}{rl}logP(x)& ={\int }_{}\\ & \\ & \\ & \\ & \end{array}$$