学习笔记：Improved Techniques for Training GANs理解

论文链接：https://arxiv.org/abs/1606.03498

这是一篇对GAN的训练作出改进的文章，众所周知，GAN的训练是极其不稳定的。转载请注明。

1 主要内容

        对GAN网络提出一些改进的体系特征和训练过程，然后把这些改进应用到半监督学习以及提高生成图像质量的领域上。

        

2 模型改进

2.1 feature matching

        问题描述：生成器和判别器其实是在寻找一个纳什均衡，但梯度下降算法适应于损失函数是一个凸（凹）函数的情况，如果应用梯度下降算法，且生成器和判别器使用同一个目标函数，很有可能是此消彼长此长彼消的情况。

        因此为了解决不稳定的情况，作者提出了为生成器寻找另一个目标函数的方法。新的目标函数，利用判别器的中间层的输出,使  得生成图片的特征与真实图片的特征相匹配.直观上判别器的中间层其实是一个特征提取器，用来区别真实图片和生成图片的特征，作者认为这种特征的差异是值得生成器学习的。因此生成器的目标函数为，f(x)表示判别器的中间层的输出。

2.2 minibatch discrimination

        问题：生成图片单一的一个主要问题在于生成器的参数设置上，也就是说生成器把不同的z映射到了相同的点，当这种情况发生时，判别器由于只单独考虑一个点，所以只会对于这些相似的点，指出相似的优化方向，因此相当于没有考虑点与点之间的相似情况，也不会告诉生成器下一步优化时使得这些点不相似。因此作者提出判别器应该考虑多个点，而不是独立的计算每个点的梯度。具体方法如下：