【阅读笔记】Generative Adversarial Nets

Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
GitHub: https://github.com/goodfeli/adversarial

Abstract：

GAN 是一个通过对抗过程来估计生成模型的框架。我们同事训练两个模型：a generative model $G$ 来你和数据的概率分布，a discriminative model $D$ 来判断数据来自真实数据还是生成数据。训练是一个两人游戏的最大最小化过程，$G$最大化$D$判断错误的概率， $D$最大化判断正确的概率。在任意的函数空间内，$G$和$D$的解唯一存在，此时$G$完全你和训练数据的分布，$D$的的结果永远为1/2。当$G$和$D$被定义为 multilayer perceptrons 时，可以通过 backpropagation 训练。在训练过程中完全不需要 Markov chains or unrolled approximate inference networks。

Introduction

在论文发表之前的 deap learning 中，判别模型有了很强大的应用，但是生成模型进展不大，本文把神经网络应用在生成模型，并且有很好的效果。

Adversarial nets

为了通过数据$x$来学习分布$p_g$，我们定义一个先验的输入噪声变量分布$p_z(z)$，然后把先验的随机变量$z$映射到数据空间$G(z;{\theta }_g)$。同样的我们定义另外一个 multilayer perceptron $D(x;{\theta }_d)$，输出$x$是否来自真实数据的概率。我们通过最大化分辨真实数据和生成数据来训练$D$，通过最小化$log(1-D(G(z)))$来训练$G$。
换句话说，$G$和$D$相当于玩一个 two-player minimax game with value function $V(G,D)$：
$$mi{n}_{G}ma{x}_{D}V(G,D)=E_{x\sim P_{data}(x)}[logD(x)]+E_{z\sim p_z(z)}[log(1-$$