【论文精读】GAN：Generative Adversarial Nets 生成对抗网络

---

一、文章概览

（一）摘要

提出了一个通过对抗过程估计生成模型的新框架，其中同时训练两个模型：

• 生成模型 G 捕获数据分布，生成模型的任务是尽量使得判别模型犯错

生成模型是要对整个数据的分布进行建模，从而能够生成各种分布。分布是一个一般化的词，在统计学的眼里，整个世界是通过采样不同的分布得到的，所以想要生成东西，目的就是要去抓住整个数据的分布。

• 判别模型 D 估计样本来自训练数据而不是G的概率

（二）导论

深度学习的前景是发现那些能够表示人工智能应用中遇到的各种数据的概率分布的模型。（深度学习不仅仅是深度神经网络，深度神经网络只是一个手段，更多的是对整个数据分布的一个特征的表示）

研究背景： 深度学习在判别模型上得到了引入瞩目的发展，但是在生成模型上还存在瓶颈。这主要是因为难以近似最大似然估计和相关策略中出现的许多棘手的概率计算，并且由于难以在生成环境中利用分段线性单元的优势。

作者的方案：提出一个对抗性网络框架

• 生成模型可以被认为类似于一群造假者，试图生产假币并在不被发现的情况下使用它
• 判别模型用于学习确定样本是来自模型分布还是数据分布，可以类似于警察，试图检测假币
• 两个模型在对抗中不断改进自己的方法，直到假货与真品无法区分。

框架优点：

• 该框架可以为多种模型和优化算法提供特定的训练算法。
• 该框架下的生成模型和判别模型本质上都是一个MLP，训练时可以直接通过误差的反向传播和 dropout 算法，而不需要近似推理或马尔可夫链，在计算上存在优势。

（三）相关工作

大多数关于深度生成模型的工作都集中在提供概率分布函数参数化规范的模型上。然后可以通过最大化对数似然来训练模型。（缺点在于采样一个分布时，计算比较困难）

生成对抗网络与对抗样本概念的区分：
对抗样本是与数据相似但分类错误的示例，用于影响（糊弄）分类器，从而测试算法的稳定性。

二、模型细节

（一）数学表达

当模型都是MLP时，对抗性建模框架的应用最为直接。

• 生成模型： $G(z;{\theta }_g)$，目的是将$z$映射为$x$，$G$ 是由多层感知器表示的可微函数，${\theta }_g$为参数。训练$G$的目标是最小化 $log(1-D(G(z)))$。

$x$—数据；$p_g$—数据对应的分布；$z$—初始噪声变量； $p_z(z)$ —噪声变量的部分

• 判别模型： $D(x;{\theta }_d)$，其中 $D(x)$表示$x$来自数据而不是$p_g$的概率。训练 $D$ 的目标是最大化训练样例和 $G$ 中的样本分配正确标签的概率。

$D$ 和 $G$ 玩以下带有价值函数 $V(G,D)$ 的两人极小极大游戏：

（二）分布示意图

GAN的处理过程示意图：

（蓝色虚线为判别分布，黑色虚线为数据分布，绿色实线为生成分布）
考虑随机噪声$z$和数据$x$都是一维的标量，噪音采样自一个均匀分布

• (a)生成器绿线的结果集中在右侧，判别器蓝色效果一般
• (b)更新判别器，使得集中在黑色虚线最高处对应位置的判别结果为1，集中在绿色实线最高处对应位置
• (c)更新生成器，使得生成器绿线的结果与真实数据分布黑线更加靠近
• (d)经过几个步骤的训练，生成器的分布与真实分布基本一致，判别器无法进行区分，对每个值的输出都是0.5

（三）算法

第一个for循环用于迭代，第二个for循环定义k步，在每一步中有2m个大小的批量样本（采样m个噪声样本和m个真实数据样本），将样本放入价值函数中，对判别器的参数求梯度进而实现对于判别器的更新，完成k步之后，再采样m个噪音之后放入价值函数第二项中，对生成器的参数求梯度进而实现对于生成器的更新。

k是一个超参数，要使得生成器和判别器的更新速率相差不太大

三、理论证明

KL散度：用于衡量两个分布

（一）证明生成器固定时最优判别器的值

证明过程：

（二）证明目标函数有一个全局的最优解，当且仅当生成器学到的分布和真实分布相等

证明过程：

（三）证明算法有效性：算法1确实能求解目标函数

证明过程：

参考：GAN论文逐段精读【论文精读】