GAN的缺点以及提升GAN训练

1、计数
2、角度
3、全局结构

提升GAN训练

特征匹配

给生成器一个新的训练目标，避免生成器过拟合当前的判别器。即使用判别器的中间层的特征来匹配图像的真伪，并将其作为一个监督信号来训练生成器。
通过这种方式，我们训练的生成器会匹配真实数据以及判别器中间层的预期特征值，在判别器的训练过程中，我们让判别器去寻找那些能很好判别真实数据的特征，不是那些生成模型生成数据的特征。

小批量

小批量整体来说表现更实际，可以保证不同样本之间在空间上有合适的距离。

历史平均

加入一个惩罚项来惩罚那些和历史平均权重相差过多的权重，具体来说，代价函数是当前参数值和历史上最近t批该参数平均值的距离

单侧标签平滑

我们使用标签0代表图像是真实的，1代表图像是伪造的，使用平滑标签例如0.1,0.9可以使得在一些对抗例子中更加健壮

输入规范化

大多数情况下最好将图像规范化到-1和1的范围之间并使用tanh作为生成器最后一层的激发函数

批规范化

针对真实数据和伪造数据构造不同的小批，每一个小批

使用ReLU和MaxPool避免稀疏梯度

优化器和噪声

针对生成器用ADMA作为优化器，针对判别器使用SGD作为优化器，在生成去器的不同层中去除输入层来作为噪声的来源

不要根据损失来统计信息平衡损失

while lossD>A
train D
while lossG>B
train G