1. 论文基本信息
-
论文标题:Generative Adversarial Nets
-
作者:Ian J. Goodfellow,∗ Jean Pouget-Abadie,† Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair,‡ Aaron Courville, Yoshua Bengio§
-
发表时间和期刊:2014.06;NeurIPS
2. 研究背景和动机
到目前为止,深度学习中最引人注目的成功来自于判别模型,通常是那些将高维度、丰富的输入映射到类别标签的模型。相比之下,生成模型的影响力较小,原因在于近似许多难以处理的概率计算(这些计算在最大似然估计和相关策略中出现)非常困难,此外在生成背景中难以利用分段线性单元的优势。
3. 主要贡献
(1) 我们通过“对抗”的方式提出了一种新的framework用于估算生成模型,绕过了这些难题。在所提出的对抗网络框架中,生成模型与一个对手判别模型进行对抗:一个判别模型学习如何判断样本是来自伪造的分布还是数据分布。生成模型可以类比为一组伪造者,试图制造假币并使用而不被发现,而判别模型则类似于警察,试图识别假币。这场竞争驱使双方不断改进方法,直到假币与真币无法区分。
(2) 用一个有监督学习的损失函数来做无监督学习。标号来自于是采样的还是生成的。(可以说是自监督学习的灵感来源之一)
4. 方法和模型
下图是GAN的生成器与判别器的优化过程。其中蓝色虚线代表判别结果的分布情况(注意,当判别结果为时,代表生成器伪造的数据达到最优结果,此时相当于随机猜测);黑色虚线代表真实的数据分布情况;绿色实线代表生成器生成的结果分布。
生成器的目标就是通过MLP将z(代表噪声分布)映射到x(真实数据分布),可以看到,随着不断优化z,噪声分布逐渐向真实的数据分布靠拢,到最后判别结果的分布趋向于
下图是GAN的核心算法。其中第一个等式用于优化判别器,第二个等式用于优化生成器
5. 实验和结果
略~
6. 讨论和未来工作
GAN的优点总结如下:
- 无需马尔可夫链:训练过程中不需要依赖马尔可夫链,仅需反向传播来获取梯度。
- 无推断步骤:学习过程中无需进行推断操作,简化了模型训练。
- 模型灵活性:模型可以集成多种不同的函数,具有较强的灵活性。
- 梯度传递优势:生成器网络通过鉴别器的梯度进行更新,而非直接从数据样本中更新参数,这可能带来一定的统计优势,避免输入信息直接复制到生成器的参数中。
- 高质量分布表示:相较于基于马尔可夫链的方法,GAN能够表示非常清晰甚至退化的分布,而马尔可夫链方法则需要分布较模糊以便模式之间的混合。
GAN的缺点总结如下:
- 无显式概率分布表示:GAN模型中没有显式地表示目标概率分布。
- 训练不稳定性:生成器和判别器的训练需要很好地同步。
7. 个人理解和反思
GAN的出现已经过了10年之久,现在也涌现出很多基于GAN的优化工作,比如StyleGAN3等等。而GAN的主要思想也不是前人未曾想到的,不过,GAN将其发扬光大,讲解清楚,成为生成领域的经典之作。