生成对抗网络(GAN)来源论文《Generative Adversarial Nets》读后总结

前言

这是一些对于论文《Generative Adversarial Nets》的简单的读后总结，首先先奉上该文章的下载超链接：GAN

这篇文章是由蒙塞拉大学(Universite de Montreal)计算机科学与运筹学系(Departement d’informatique et de recherche operationnelle)的人员完成的，作者分别是Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Sherjil Ozair、Aaron Courville和 Yoshua Bengio。
（PS:上述的大学名称以及院系不是英文，所以不一定正确，原文如下：
）
其是GAN的来源文章，该文章通过提出了一种新的神经网络思想而闻名全球，主体思想是两个网络（生成网络G和判别网络D）通过对抗的方式来共同的进步。基于博弈论的思想，GAN实质上是一个双人极大极小博弈问题，最后会收敛到一个纳什均衡点。GAN可以做许多有趣的工作，例如生成图片、图像转换、文本到图片的转换、照片编辑、图片混合、超分辨率、图片修复和视频预测等工作。

文章主要内容与贡献

该文章的贡献为：

1. 提出了生成对抗网络(Generative Adversarial Nets, GAN)。

提出了生成对抗网络(Generative Adversarial Nets, GAN)

简而言之，GAN所需要解决的优化模型如下所示：

该模型是一个极大极小化模型，是一个典型的双人零和博弈问题，其中，生成器G的目标是生成使得判别器D无法正确判断的数据，而判别器D的目标则是尽量准确的判断生成器G输出的数据是否来源于真实数据集，生成器G和判别器D各为一个神经网络，通过交替训练这两个神经网络，最终它们会收敛到一个稳定的状态，即纳什均衡状态，此时，生成器G生成的数据已使得判别器无法最大程度的准确判断数据是否来源于原始数据集。

算法框架如下所示：

其中，可以观察到，算法中是以不停的更新$k$次判别器然后更新1次生成器构成的。

实验结果

该文章在MNIST, the Toronto Face Database(TFD)和CIFAR-10这三个训练集上分别训练对抗网络，生成器网络采用ReLU和Sigmoid函数来作为激活函数，而判别器网络使用Maxout激活。仅在判别器网络中使用dropout，下图是训练后从生成器网络中提取的样本：

其中，最右边列显示相邻样本中最近的训练示例，以证明模型没有记住训练集。样本是公平的随机抽取的。与其他大多数深生成模型的可视化不同，这些图像显示来自模型分布的实际样本，而不是给出隐藏单元样本的条件均值。此外，由于采样过程不依赖于马尔可夫链混合，所以这些样本是不相关的。
(a)MNIST、(b)TFD、©CIFAR-10(完全连接模型)和(d)CIFAR-10(卷积判别器和“反卷积”生成器)。