GAN优化

Towards GAN’s Approximation Ability

A、证明了随着隐藏神经元的增加，输入latent variable的generator可以普遍近似潜在的数据分布。
B、提出了一种随机数据生成(SGD)的方法，通过在generator的前馈过程中引入随机性，增强GAN的逼近能力。

Improving Generalization And Stability of Generative Adversarial Networks

A、证明了原始GAN的损失训练的discriminator具有较差的泛化能力，discriminator泛化能力差会阻止generator学习目标分布。
B、证明了原始GAN会促使discriminator发生梯度爆炸。Discriminator中梯度爆炸会导致generator中的mode collapse。
C、提出了一种零中心梯度惩罚，保证了GAN的通用性和收敛性。

Consistency Regularization For Generative Adversarial Networks

文章提出了一种一致性正则化的方法，用一些保持语义的方法对输入图像进行扰动，从而降低Discriminator对这种扰动的敏感性。例如原始数据输入产生的结果应该与将原始数据进行图像翻转、剪切等方法得到的结果应该一样或者类似。
具体算法如下所示：

Improved Consistency Regularization for GANs

认为CR-GAN仅仅应用到了真实的图像(Discriminator)，没有应用到生成的样本，会使得整个过程有些不平衡。故这篇论文提出将一致性正则化的方法应用到generative和discriminator上。
具体算法如下

Improved Techniques for Training GANs

A、 Feature matching(比较适用于半监督学习)
Generator的目标不再是最大化Discriminator的输出。而是将Discriminator中间层输出作为目标，尽量使得生成样本的中间输出和真实样本的中间输出相似。
具体如下：

B、 Minibatch discrimination
孤立的看每个sample，容易使得Generator收敛到一个点。所以此处采取的方法是在原始输入的基础上加上minibatch中f(x)之间的距离。
C、 Historical averaging
在generator和discriminator中加入了一项

D、 One-sided label smoothing
将正例label乘以a，负例乘以B，之后将判别函数分类器变为

E、 Virtual batch normalization
Batch normalization存在一个问题就是layer的输出和本次batch内的其他输入相关，为例避免这个问题，作者提出首先从训练集拿出一个batch在训练前固定，计算batch的均值和方差，更新其他batch，缺点耗时。