Improved Techniques for Training GANs（Goodfellow）

Improved Techniques for Training GANs（Goodfellow）–2016

（改进的GAN训练技术）

摘要：
我们介绍了适用于生成对抗网络（GAN）框架的各种新的体系结构功能和培训程序。 我们专注于GAN的两个应用：半监督学习和人类视觉上逼真的图像生成。 与大多数有关生成模型的工作不同，我们的主要目标不是训练对测试数据分配高可能性的模型，也不是要求模型能够在不使用任何标签的情况下很好地学习。 使用我们的新技术，我们在MNIST，CIFAR-10和SVHN的半监督分类中获得了最新的结果。 视觉图灵测试证实了生成的图像的高质量：我们的模型生成了人类无法与真实数据区分开的MNIST样本，而CIFAR-10样本产生了21.3％的人为错误率。 我们还以前所未有的分辨率展示了ImageNet示例，并表明我们的方法使模型能够学习ImageNet类的可识别特征。

介绍：
生成对抗网络[1]（GAN）是一类基于博弈论的生成模型学习方法。 GAN的目标是训练生成器网络G（z;θ（G）），该生成器网络通过将噪声z的向量转换为x = G（z;θ（G）），从数据分布pdata（x）生成样本。 G的训练信号由一个鉴别器网络D（x）提供，该鉴别器网络D（x）被训练为从真实数据中区分出生成器分布pmodel（x）中的样本。 继而训练生成器网络G，以欺骗鉴别器接受其输出为真实的。

GAN的最新应用表明，它们可以产生出色的样品[2，3]。 但是，训练GAN需要找到具有连续高维参数的非凸博弈的Nash平衡。 GAN通常使用梯度下降技术进行训练，该技术旨在发现代价函数的低值，而不是寻找游戏的纳什均衡。 当用于寻求纳什均衡时，这些算法可能无法收敛[4]。

在这项工作中，我们介绍了几种旨在鼓励GAN游戏融合的技术。 这些技术是由对非收敛问题的启发式理解所激发的。 它们可以改善半监督学习性能并改善样本生成。 我们希望其中一些可以构成未来工作的基础，为融合提供正式保证。 所有代码和超参数都可以在以下网址找到：https://github.com/openai/improved_gan

3 Toward Convergent GAN Training（GAN训练的融合）

3.1 Feature matching（特征匹配）
3.2 Minibatch discrimination（小批量判别）
3.3 Historical averaging（历史平均）
3.4 One-sided label smoothing（单面标签平滑）
3.5 Virtual batch normalization（虚拟批次标准化）

4 Assessment of image quality（图像质量评估）

5 Semi-supervised learning（半监督学习）

5.1 Importance of labels for image quality（标签对图像质量的重要性）

6 Experiments（实验）

见原文：Improved Techniques for Training GANs