VAE与GAN的关系(1)

VAE（Variational Auto-Encoder）和GAN（Ganerative Adversarial Networks）都是生成模型（Generative model）。所谓生成模型，即能生成样本的模型。我们可以将训练集中的数据点看作是某个随机分布抽样出来的样本，比如：MNIST手写体样本，我们就可将每一幅图像看作是一个随机分布$p(\mathbf x)$ 的抽样（实例）。如果我们能够得到这样的一个随机模型，我们就可以无限制地生成样本，再无采集样本的烦恼。但这个随机分布 $p(\mathbf x)$ 我们并不知道，需要通过对训练集的学习来得到它，或者逼近它。要逼近一个随机分布，其基本思想是：将一个已知的，可控的随机分布 $q(\mathbf z)$ 映射到目标随机分布 $p(\mathbf x)$ 上。在深度学习领域中，有两个典型的生成模型：1、VAE，变分自编码器；2、GAN，生成对抗性网络，它们的结构如图1、图2：

图1 VAE结构图

图2 GAN结构图
VAE的工作流程是：
1、在训练集（Dataset）中抽样，得到样本$\mathbf x_i$，$\mathbf x_i$经过神经网络编码器（NN Encoder）得到一个正态分布（$N(\mathbf \mu_i, \mathbf \sigma^2_i)$）的充分统计量：均值（以图1为例进行解释，$\mathbf \mu_i=(m_1,m_2,m_3)$）和方差（$\mathbf {\sigma_i}=(\sigma_1,\sigma_2,\sigma_3)$）；
2、由$N(\mathbf \mu_i, \mathbf \sigma^2_i)$ 抽样得到 $\mathbf z_i$， 已知 $\mathbf z_i$ 的分布是标准正态分布 $N(\mathbf 0, \mathbf 1)$；
3、$\mathbf z_i$ 经过NN_Decoder得到输出$\mathbf {\hat x_i}$
4、$Loss=\Vert \mathbf {\hat x_i} - \mathbf x_i \Vert$，训练过程就是让Loss取得最小值。
5、训练好的模型，我们可以利用Decoder生成样本，即将已知分布 $q(\mathbf z)$ 的样本通过Decoder映射成目标 $p(\mathbf x)$ 分布的样本。
以上过程可以用图3进行概括。

图3 VAE原理图
为比较VAE和GAN的差异，参考图4，简述GAN的工作原理如下：
1、在一个已知的、可控的随机分布$q(\mathbf z)$(e.g.:多维正态分布 $q(\mathbf z)=N(\mathbf \mu, \mathbf \sigma^2)$)采样，得到$\mathbf z_i$；
2、$\mathbf z_i$ 经过生成器映射 $G(\mathbf z_i)$ 得到在样本空间（高维空间）的一个数据点 $\mathbf x_i^g$，有 $\mathbf x_i^g = G(\mathbf z_i)$；
3、$\mathbf x_i^g$ 与样本流型（Manifolds）之间的距离在图中表示为 $D(\Vert \mathbf x_i^g , \mathbf {\hat x_i^g}) = \Vert \mathbf x_i^g - \mathbf {\hat x_i^g} \Vert$，其中 $\mathbf {\hat x_i^g}$ 表示 $\mathbf x_i^g$ 在流型上的投影，生成器的目标是减少此距离，可以将此距离定义为生成器的损失（Loss）。
4、因为不能直接得到样本的流型，因而需要借助判别器(Discriminator)间接地告诉生成器（Generator）它生成的样本距样本流型是“远了”还是“近了”，即判别真（real）和假（fake）正确的概率，一方面要判别器提高判别准确性，一方面又要提高生成器的以假乱真的能力，由此形成了竞争导致的均衡，使判别器和生成器两者性能同时提高，最后我们可获得最优的生成器。
5、理想的最优生成器，能将生成的 xgi