MODE REGULARIZED GENERATIVE ADVERSARIAL NETWORKS

MODE REGULARIZED GENERATIVE ADVERSARIAL NETWORKS

尽管生成对抗网络在各种生成任务上取得了最先进的结果，但它们被认为是非常不稳定的，容易出现失误模式。我们认为GANs的这些不良行为是由于在高维空间中训练的判别器的非常特殊的功能形状，这很容易使训练卡住或将概率质量推向错误的方向，走向比数据生成分布的浓度更高的方向。我们还表明，在训练的早期阶段，我们的正则器可以帮助概率质量在数据生成分布的各个模式之间公平分布，从而为缺失模式问题提供一个统一的解决方案。

1 INTRODUCTION

尽管GANs很成功，但由于训练的不稳定性和对超参数的敏感性，通常被认为是很难训练的。另一方面，在训练GANs时观察到的一个常见的失败模式是大量的概率质量坍缩到少数模式上。也就是说，尽管生成器产生了有意义的样本，但这些样本往往只来自几个模式（数据分布下的高概率小区域）。这一现象的背后是缺失模式问题，它被广泛认为是训练GAN的一个主要问题：数据生成分布的许多模式在生成的样本中根本没有体现，产生的熵分布要低得多，比数据生成分布的种类少。

最近的几篇论文提出了一些技巧和新的架构来稳定GAN的训练，并鼓励其样本的多样性。然而，我们认为这些问题背后的一个普遍原因是在GAN训练过程中缺乏对鉴别器的控制，我们希望以鉴别器作为度量，鼓励生成器产生的样本流形向真实数据的流形移动。然而，即使我们训练鉴别器来区分这两个流形，我们也无法控制这些流形之间鉴别器函数的形状。事实上，数据空间中的鉴别器函数的形状可能是非常非线性的，具有不好的平台和错误的最大值，因此这可能会损害GANs的训练（图1） In fact, the shape of the discriminator function in the data space can be very non-linear with bad plateaus and wrong maxima and this can therefore hurt the training of GANs (Figure 1) 。

为了弥补这个问题，我们为GAN训练目标提出了一个新的正则器。其基本思想是简单而强大的：除了判别器提供的梯度信息外，我们希望生成器能够利用其他具有更多可预测行为的相似度量，如$L_2$ norm。区分这些相似度量将为我们提供更稳定的梯度来训练我们的生成器。将这一想法与旨在惩罚missing modes的方法相结合，我们为GAN目标提出了一系列额外的正则器。然后，我们设计了一套指标，从模式的多样性和概率质量的分布公平性两方面评估生成的样本。这些指标被证明在判断复杂的生成模型时更加稳健，包括那些well-trained and collapsed 模型。

正则器通常会在模型variance and bias之间进行权衡。我们的结果表明，如果应用得当，我们的正则器可以极大地减少模型方差，稳定训练，并一次解决缺失模式的问题，对生成的样本有积极影响或至少没有负面影响。我们还讨论了正则化GAN算法的一个变体，与DCGAN基线相比，它甚至可以提高样本质量。

2 RELATED WORK

我们的工作与VAEGAN（Larsen等人，2015）在训练自动编码器或VAE与GAN模型联合方面有关。然而，VAEGAN中的变分自动编码器（VAE）是用来生成样本的，而我们的基于自动编码器的损失作为正则器来惩罚缺失模式，从而提高GAN的训练稳定性和样本质量。我们在附录D中展示了各方面的详细差异。

3 MODE REGULARIZERS FOR GANS

我们现在仔细研究一下训练GAN时不稳定的根本原因。鉴别器是在生成的和真实的样本上训练的。正如Goodfellow等人（2014）；Denton等人（2015）；Radford等人（2015）所指出的，当数据流形和生成流形不相交时（几乎在所有的实际情况下都是如此），相当于将特征函数训练成在数据流形上非常接近于1，而在生成流形上为0。为了向生成器传递良好的梯度信息，重要的是训练后的鉴别器要产生稳定和平滑的梯度。

然而，由于鉴别器的目标并不直接取决于鉴别器在空间的其他部分的行为，如果鉴别器函数的形状不符合预期，训练很容易失败。作为一个例子，Denton等人（2015）注意到训练GAN的一个常见失败模式，即梯度消失问题，在这种情况下，鉴别器D完美地对真实和虚假的例子进行分类，这样在虚假例子周围，D几乎为零。在这种情况下，生成器将不会收到任何梯度来改善自己。

然而，由于鉴别器的目标并不直接取决于鉴别器在空间的其他部分的行为，如果鉴别器函数的形状不符合预期，训练很容易失败（However, since the discriminator objective does not directly depend on the behavior of the discriminator in other parts of the space, training can easily fail if the shape of the discriminator function is not as expected）。作为一个例子，Denton等人（2015）注意到训练GAN的一个常见失败模式，即梯度消失问题，在这种情况下，鉴别器D完美地对真实和虚假的例子进行分类，这样在虚假例子周围，D几乎为零。在这种情况下，生成器将不会收到任何梯度来改善自己。

训练GANs的另一个重要问题是模式缺失。理论上，如果生成的数据和真实的数据来自同一个低维流形，鉴别器可以帮助生成器分配其概率质量，因为缺失模式在生成器下不会有接近0的概率，所以这些区域的样本可以适当地集中在D接近1的区域。然而，在实践中，由于两个流形是不相交的，所以在所有实际数据样本上，D趋于接近1，所以large modes 通常有更高的机会吸引鉴别器的梯度。对于一个典型的GAN模型，由于所有的模都具有相似的D值，因此没有理由不使生成器塌陷为几个主要模式。换言之，由于鉴别器的输出在假数据和真数据上分别接近0和1，因此生成器不会因丢失模式而受到惩罚。

3.1 GEOMETRIC METRICS REGULARIZER

与GAN生成器的目标相比，从优化的角度来看，监督学习的优化目标更加稳定。区别很明显：GAN生成器的优化目标是一个学习的判别器。而在监督模型中，优化目标是具有良好几何特性的距离函数。后者通常比前者更容易提供训练梯度，特别是在训练的早期阶段。

受此启发，我们建议在鉴别器目标上加入有监督的训练信号作为正则化器。假设生成器$G(z):z\to X$首先从空间Z中的固定先验分布采样，然后将确定性可训练变换G转换到样本空间X中，从而生成样本。与G一起，我们还联合训练了编码器$E(x):x\to Z$。假设d是数据空间中的某个相似度量，我们添加了${\mathbb{E}}_{x\sim p_d}[d(x，G◦E(x))]$作为正则化器，其中$p_d$是数据生成分布。编码器本身通过最小化相同的重建误差来训练。

在实践中，距离度量d有很多选择。例如，像素级的L2距离，或由判别器（Dumoulin等人，2016）或其他网络（如VGG分类器）学习的特征距离。(Ledig et al., 2016)

这个正则器的几何直觉是直截了当的。我们试图用梯度下降法将生成的流形移到真实数据流形上。除了判别器提供的梯度外，我们还可以尝试用其他几何距离来匹配这两个流形，比如$L^s$度量。增加一个编码器的想法相当于首先训练两个流形之间的点对点映射G(E(x))，然后尝试最小化这两个流形上的点之间的预期距离。

3.2 MODE REGULARIZER

除了度量正则器之外，我们还提出了一个模式正则器来进一步惩罚缺失的模式。在传统的GANs中，生成器的优化目标是经验和${\Sigma }_i{\nabla }_{\theta }logD(G_{\theta }(z_i))$。缺失模式问题是由两个事实共同造成的。(1)根据定义，缺失模式附近的区域很少被生成器访问，因此在这些区域附近提供很少的例子来改进生成器；(2)缺失模式和非缺失模式都倾向于对应一个高的D值，因为生成器并不完美，所以即使在非缺失模式附近，判别器也可以采取强有力的决定并获得一个高的D值。

作为一个例子，考虑图2的情况。对于大多数z，生成器的梯度${\nabla }_{\theta }logD(G_{\theta }(z))$将发生器推向主要模式M1。只有当G(z)非常接近模式$M_2$时，生成器才能得到梯度，将自己推向小模式M2。然而，在先验分布$p_0$中，这样的z有可能是低概率或零概率。

鉴于这一观察，考虑一个带有 metric regularizer的正则化GAN模型。假设$M_0$是数据生成分布的一个minor mode。对于$x\in M_0$，我们知道，如果$G◦E$是一个好的自动编码器，G(E(x))将位于非常接近模式$M_0$。由于训练数据中有足够的模式$M_0$的训练样本，我们在生成器的优化目标中加入了模式正则器${\mathbb{E}}_{x\sim p_d}[logD(G◦E(x))]$，以鼓励G(E(x))向数据生成分布的附近模式移动。通过这种方式，我们可以实现不同模式下的公平概率质量分布。

简而言之，我们对生成器和编码器的正则化优化目标变成了:

3.3 MANIFOLD-DIFFUSION TRAINING FOR REGULARIZED GANS

在一些大规模的数据集上，例如CelebA，我们讨论过的正则器确实提高了生成样本的多样性，但如果不仔细调整超参数，样本的质量可能就不会那么好。在这里，我们提出了一种新的算法来训练 metric-regularized GANs，这种算法非常稳定，而且更容易调整以产生好的样本。

建议的算法将GANs的训练过程分为两个步骤：流形步骤和扩散步骤(a manifold step and a diffusion step)。在流形步骤中，我们试图在编码器和几何度量损失的帮助下，使生成流形与真实数据流形相匹配。在扩散步骤中，我们试图根据真实数据的分布在生成流形上公平分配概率质量。

GAN的流形扩散训练（简称MDGAN）的例子如下：我们训练一个判别器D1，它在样本x和G◦E(x)之间进行分离，对于数据中的x，我们就正则化GAN损失$\mathbb{E}[log{D}_1(G◦E(x))+\lambda d(x,G◦E(x))]$来优化G，以匹配两个流形。在扩散步骤中，我们在分布G(z)和G◦E(x)之间训练一个判别器$D_2$，并且我们训练G以最大化$log{D}_2(G(z))$。由于这两个分布现在几乎在同一个低维流形上，鉴别器$D_2$提供了更平滑和更稳定的梯度。详细的训练过程在附录A中给出。生成样本的质量见图6。

3.4 EVALUATION METRICS FOR MODE MISSING

为了在我们的实验中估计缺失模式和样本质量，我们在不同的实验中使用了几种不同的度量，而不是human annotators。

inception score（Salimans等人，2016）被认为是对来自标记数据集的样本质量的良好评估。

其中x表示一个样本，p(y|x)是训练有素的分类器对标签的softmax输出，$p^{\ast }(y)$是生成样本的整体标签分布。这个分数背后的直觉是，一个强大的分类器通常对好的样本有很高的信心。然而，对于我们的目的来说，inception score有时并不是一个好的衡量标准。假设一个生成模型对一个非常糟糕的图像崩溃了。虽然该模型非常糟糕，但它可以有一个完美的inception score，因为p(y|x)可以有一个高熵，而$p^{\ast }(y)$可以有一个低熵。因此，相反，对于有标签的数据集，我们提出了另一个对视觉质量和样本种类的评估，即MODE得分。

其中p(y)是训练数据中的标签分布。根据我们的人类评估经验，MODE得分在一个指标中成功地衡量了生成模型的两个重要方面，即多样性和视觉质量。

然而，在没有标签的数据集（LSUN）或标签不足以表征每一种数据模式（CelebA）的情况下，上述度量标准并不能很好地发挥作用。我们转而在真实数据和模型生成的数据之间训练一个第三方判别器。它类似于GAN判别器，但不用于训练生成器。我们可以把鉴别器的输出看作是数量的估计器（证明见（Goodfellow等人，2014））。

其中$p_g$是生成器的概率密度，$p_d$是数据分布的密度。为了防止$D^{\ast }$学习到$p_g$和$p_d$的完美0-1分离，我们在训练$D^{\ast }$时向输入注入一个零均值的高斯噪声。训练后，我们在真实数据集的测试集T上测试$D^{\ast }$。如果对于任何测试样本t∈T，辨别值D(t)接近1，我们可以得出结论，t对应的模式是缺失的。这样一来，虽然我们不能准确地测量缺失模式的数量，但我们对所有缺失模式的总概率质量有一个良好的估计。