MODE REGULARIZED GENERATIVE ADVERSARIAL NETWORKS （Bengio-ICLR2017）

MODE REGULARIZED GENERATIVE ADVERSARIAL NETWORKS （Bengio-ICLR2017）

（模式正则化的生成对抗网络）

摘要：
尽管生成对抗网络在各种生成任务上都达到了最新的结果，但它们被认为是高度不稳定的，容易丢失模式。 我们认为GAN的这些不良行为是由于高维空间中受过训练的鉴别器的特殊功能形状导致的，这很容易使训练陷入困境或将概率质量朝错误的方向推向比数据集中度更高的集中度。 产生分布。 我们介绍了几种正规化目标的方法，可以显着稳定GAN模型的训练。 我们还表明，在训练的早期阶段，我们的正则化器可以帮助在数据生成分布的各个模式之间公平分配概率质量，从而为缺失模式问题提供统一的解决方案。

介绍：
生成对抗网络（GAN）（Goodfellow等人，2014）已证明其在各种任务上的潜力，例如图像生成，图像超分辨率，3D对象生成和视频预测（Radford等人，2015; Ledig等人; Sønderby 等人，2016；Sønderby等人，2016； Nguyen等人，2016； Wu等人，2016； Mathieu等人，2015）。 目的是训练参数化函数（生成器），该函数将噪声样本（例如，均匀或高斯）映射到分布接近于数据生成分布的样本。 GAN训练程序的基本方案是训练一个鉴别器，该鉴别器将较高的概率分配给实际数据样本，将较低的概率分配给生成的数据样本，同时尝试使用鉴别器提供的梯度信息将生成的样本移向真实数据流形 。 在典型的情况下，生成器和鉴别器由深度神经网络表示。

尽管获得了成功，但由于训练的不稳定性和对超参数的敏感性，GAN通常被认为很难训练。 另一方面，在训练GAN时观察到的常见故障模式是将大量的概率质量崩溃到一些模式上。 即，尽管生成器生成有意义的样本，但这些样本通常仅来自少数几种模式（在数据分布下，概率很小的区域）。 这种现象的背后是缺失模态问题，它被广泛认为是训练GAN的一个主要问题：在生成的样本中根本没有表示数据生成分布的许多模式，从而产生了低得多的熵分布，并且变化程度小于 数据生成分布。

这个问题一直是最近几篇论文的主题，这些论文提出了一些技巧和新架构，以稳定GAN的培训并鼓励其样本的多样性。 但是，我们认为，这些问题背后的一个普遍原因是在GAN训练过程中缺乏对鉴别器的控制。 我们希望使用鉴别器作为度量标准，鼓励生成器生成的样本流向真实数据。 但是，即使我们训练鉴别器以区分这两个歧管，我们也无法控制这些歧管之间的鉴别器功能的形状。 实际上，数据空间中的鉴别器函数的形状可能非常非线性，具有不稳定的平台和错误的最大值，因此可能会损害GAN的训练（图1）。

为了解决这个问题，我们为GAN训练目标提出了一种新颖的正则化器。 基本思想很简单，但是功能强大：除了鉴别器提供的梯度信息外，我们还希望生成器利用其他具有更可预测行为的相似性度量标准，例如L2范数。 区分这些相似性度量将为我们提供更稳定的梯度来训练我们的生成器。 将此思想与旨在惩罚缺失模式的方法相结合，我们针对GAN目标提出了一系列附加的正则化器。 然后，我们设计了一组度量，以根据模式的多样性和概率质量的分布公平性来评估生成的样本。 这些指标在判断复杂的生成模型（包括那些训练有素且崩溃的模型）时显示出更强大的功能。<