Generative Adversarial Nets论文笔记

Abstract 

我们提出了一个新的框架来估计生成模型通过一个对抗性的过程, 我们同时训练两个模型: 一个生成模型 G, 捕获数据分布, 和一个判别模型 D, 估计样本的概率来自训练数据还是 G。

 

Introduction 

Related work 

与 GSNs 相比, 对抗网框架不需要马尔可夫链进行抽样。由于对抗网在生成过程中不需要反馈环路, 因此它们能够更好地利用分段线性单元 [19、9、10], 从而提高反向传播的性能, 但在使用 ina 反馈环路时存在无限激活问题.通过对生成机器进行向后传播训练的最新例子包括最近的关于自动编码变分贝叶斯 [20] 和随机反向传播 [24] 的工作。

Adversarial nets 

在下一节中，我们提出了对抗网络的理论分析，基本上表明训练标准允许人们恢复数据生成分布，因为G和D被赋予足够的容量，即在非参数限制中。有关该方法的不太正式，更具教学意义的解释，请参见图1。在实践中，我们必须使用迭代的数值方法来实现游戏。在训练的内循环中优化D到完成在计算上是禁止的，并且在有限数据集上将导致过度拟合。相反，我们在优化D的k个步骤和优化G的一个步骤之间交替。这导致D保持接近其最优解，只要G变化足够慢。这种策略类似于SML / PCD [31,29]训练将马尔可夫链中的样本从一个学习步骤维持到下一个学习步骤的方式，以避免作为学习内循环的一部分在马尔可夫链中燃烧。该过程在算法1中正式呈现

下面的水平线是从中采样z的域，在这种情况下是均匀的。 上面的水平线是x域的一部分。 向上箭头表示映射x = G（z）如何在变换样本上施加非均匀分布pg。 G在高密度区域收缩，在低密度区域扩展。 （a）考虑靠近收敛的对抗对：pg类似于pdata，D是部分精确的分类器。 （b）在算法D的内环中训练以区分样本和数据，收敛到D *（x）= pdata（x）pdata（x）+ pg（x）。 （c）在更新G之后，D的梯度引导G（z）流向更可能被分类为数据的区域。 （d）经过几个步骤的训练后，如果G和D有足够的容量，它们将达到两个都无法改善的点，因为pg = pdata。 鉴别器不能区分两个分布，即D（x）= 1 2。

 

Theoretical Results