深度生成模型

  概率生成模型（ Probabilistic Generative Model ），简称生成模型，是概率统计和机器学习领域的一类重要模型，指一系列用于随机生成可观测数据的模型．生成模型通常包含两个基本功能：概率密度估计和生成样本（即采样）.

  深度生成模型就是利用深度神经网络可以近似任意函数的能力来建模一个复杂分布 p_r (x) 或直接生成符合分布p_r (x) 的样本．

13.1 概率生成模型

  如果要建模含隐变量的分布，就需要利用 EM 算法来进行密度估计．而在 EM 算法中，需要估计条件分布 𝑞(x|z;𝜃) 以及近似后验分布 𝑞(z|x;𝜃) ．当这两个分布比较复杂时，我们可以利用神经网络来进行建模，这就是变分自编码器的思想．

  生成样本就是给定一个概率密度函数为 p_𝜃(x) 的分布，生成一些服从这个分布的样本，也称为采样．

  一种生成样本的思想是从一个简单分布（比如标准正态分布）中采集一个样本 Z ，并利用一个深度神经网络使得 g(z) 服从p_r (x) ．这样，我们就可以避免密度估计问题，并有效降低生成样本的难度，这正是生成对抗网络的思想．

  在监督学习中，比较典型的生成模型有朴素贝叶斯分类器、隐马尔可夫模型．

  和生成模型相对应的另一类监督学习模型是判别模型（ Discrimina-tive Model ）．常见的判别模型有 Logistic 回归、支持向量机、神经网络等．由生成模型可以得到判别模型，但由判别模型得不到生成模型．

13.2 变分自编码器

  变分自编码器（ VariationalAutoEncoder ， VAE ) 是一种深度生成模型，其思想是利用神经网络来分别建模两个复杂的条件概率密度函数．

• 用神经网络来估计变分分布，称为推断网络． 推断网络的目标是使得 𝑟(𝒜|𝒚;𝜙) 尽可能接近真实的后验 𝑞(z|x;𝜃) ，需要找到一组网络参数 𝜙 ∗ 来最小化两个分布的 KL 散度.
• 用神经网络来估计概率分布 ，称为生成网络．生成网络 f_G(z;𝜃) 的目标是找到一组网络参数 𝜃 ∗ 来最大化证据下界 ELBO(q,x;𝜃,𝜙)

  推断网络和生成网络的目标都为最大化证据下界 ELBO(q,x;𝜃,𝜙)．将推断网络和生成网络合并就得到了变分自编码器的整个网络结构

  再参数化通常用来将原始参数转换为另外一组具有特殊属性的参数．通过再参数化，变分自编码器可以通过梯度下降法来学习参数，从而提高变分自编码器的训练效率．

13.3 生成对抗网络

  之前介绍的深度生成模型，比如变分自编码器、深度信念网络等，都是显示地构建出样本的密度函数 p(x;𝜃) ，并通过最大似然估计来求解参数，称为显式密度模型（ Explicit Density Model ）．

  所谓隐式模型就是指并不显式地建模 p_r(x) ，而是建模生成过程．

  隐式密度模型的一个关键是如何确保生成网络产生的样本一定是服从真实的数据分布．既然我们不构建显式密度函数，就无法通过最大似然估计等方法来训练．生成对抗网络（ Generative Adversarial Networks ， GAN )是通过对抗训练的方式来使得生成网络产生的样本服从真实数据分布．

  在生成对抗网络中，有两个网络进行对抗训练．一个是判别网络，目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生；另一个是生成网络，目标是尽量生成判别网络无法区分来源的样本．这两个目标相反的网络不断地进行交替训练．当最后收敛时，如果判别网络再也无法判断出一个样本的来源，那么也就等价于生成网络可以生成符合真实数据分布的样本．

• 判别网络（ Discriminator Network ） 的目标是区分出一个样本 x 是来自于真实分布 还是来自于生成模型 ，因此判别网络实际上是一个二分类的分类器．
• 生成网络（ Generator Network ）的目标刚好和判别网络相反，即让判别网络将自己生成的样本判别为真实样本．

  和单目标的优化任务相比，生成对抗网络的两个网络的优化目标刚好相反．因此生成对抗网络的训练比较难，往往不太稳定．

一个生成对抗网络的具体实现：深度卷积生成对抗网络（ Deep Convolutional Generative Adversarial Network ， DCGAN ）

  我们把判别网络和生成网络合并为一个整体，将整个生成对抗网络的目标函数看作最小化最大化游戏（ Minimax Game ）

  在生成对抗网络中，当判别网络为最优时，生成网络的优化目标是最小化真实分布 p_r 和模型分布 p_𝜃 之间的 JS 散度．

  在生成对抗网络中， JS 散度不适合衡量生成数据分布和真实数据分布的距离．由于通过优化交叉熵（ JS 散度）训练生成对抗网络会导致训练稳定性和模型坍塌问题，因此要改进生成对抗网络，就需要改变其损失函数．

• W-GAN 是一种通过用 Wasserstein 距离替代 JS 散度来优化训练的生成对抗网络.

  生成对抗网络是一个具有开创意义的深度生成模型，突破了以往的概率模型必须通过最大似然估计来学习参数的限制．