Improved Techniques for Training GANs论文中的创新和理解

一、题外话：非平稳性纹理合成

1、目的：使用生成对抗网络来将小纹理扩展为类似于原始样本的较大纹理；

基于实例的纹理合成的目的是生成纹理，捕获样本的视觉特征并保持逼真的外观。

非平稳性纹理包括大规模不规则结构的纹理，或者是在颜色、局部方向和比例的某些属性中呈现空间变化的纹理。

2、对抗网络（GAN）的目的需要在高位非凸的参数空间中找到一个纳什均衡。

二、Improved Techniques for Training GANs 论文中比较重要的地方

代码：https://github.com/openai/improved-gan/

feature matching

传统的GAN的目的是，G（x）输入D后使得D输出的分数最大化。而（Improved Techniques for Training GANs）的思想是：让G（x）经过D的网络的中间层和x经过D的中间层的feature尽可能的相同。设f(x)为判别器网络D的中间输出的feature map, 生成网的目标函数定义如下：

判别器会按照原来的方式进行训练。与原来的方式相比，生成网络G产生的数据更加符合真实的数据分布。

在此篇论文中，判别网络从输入到输出层逐层卷积、pooling，使得图像的信息逐渐丢失，那么中间层能够比输出层得到更好的原始图片的分布信息，得到中间层的feature作为目标函数比输出层的结果，能够使得生成图片的信息更多。可能采用这种方式的目标函数，生成的图片效果会更好。

MiniBatch discrimination

GAN训练过程中经常会出现G网络生成的图片为了能够欺骗D网络，而生成仅仅能够让D网络认为是真实的图片。也就是G网络生成的图片都太相似了，没有多样性。这是因为D网络没有一个能够告诉G网络，应该生成不相似的图片。为此作者提出了一个minibatch discrimination来解决这个问题。 （（（判别网络D 如果每次看到单张图片，如果判断为真，那么G就会认为这里有一个优化的目标，这样会使得网络很快收敛到当前点。

目的：生成多样性的图片，不要收敛到一个点

miniBatch discrimination中通过计算一个minibatch中的样本样本D网络中的某一层特征图之间的差异信息，作为D网络中下一层的额外输出，达到样本之间的信息交互的目的。具体操作如下：

假设样本xi在D网络中某一层的特征向量为f（x）:

对应的图如下：

接着，将o(xi) 和 f(xi) 合并成一个向量作为D网络下一层的输入。

virtual batch normalise

每次sample 的时候另外再sample一个Batch，根据这个Batch做norm (只在G中这样做)，这样会使得计算量变大一点。

 总结：

生成对抗网络的缺点在于不稳定的训练以及缺乏适当的评估指标。

这篇文章中提出了使用几种技术来稳定网络的训练，并且提出了一个评估指标（初始评分）作为比较模型质量的基础。