GAN模型调参

GAN在提出之后，一直很火。但是其存在诸多的难点，首先难以平衡G（生成器）和D（判别器）之间的训练，同时容易造成模型坍塌。因此在训练GAN时会很难。

1.软标签和noise标签

这一点在训练判别器时极为重要。使用硬标签（非 1 即 0）几乎会在早期就摧毁所有的学习进程，导致判别器的损失迅速趋近于 0。可以采用一个 0-0.1 之间的随机数来代表「标签 0」（真实数据），并使用一个 0.9-1 之间的随机数来代表 「标签 1」（生成数据）。在训练生成器时则不用这样做。

此外，添加一些带噪声的标签是有所帮助的。将输入给判别器的图像中的 5% 的标签随机进行了反转，即真实数据被标记为生成数据、生成数据被标记为真实数据。

2.调整交叉训练

每训练一次判别器，训练K次生成器；这样可以充分让生成器在前期进行学习。

3.修改损失函数

• 在GAN论文里用min (log 1-D)优化生成器，实际上max（log D）更好

• 实际代码中用反转标签来训练G更方便，即把生成数据当成real的标签来训练

• 现在有很多针对损失函数进行修改的模型：

3.1 WGAN

使用了Wasserstein损失，去掉了判别器最后一层的sigmoid和log，直接优化Wasserstein距离，但是WGAN需要对判别器做Weight Clip，比较麻烦，而且不能用动量优化（包括momentum和Adam），通常使用RMSProp来优化WGAN

3.2 WGAN-GP

改进了WGAN中的weight clip（权重截断），基于梯度惩罚的loss替代WGAN中的Weight Clip，从而产生比WGAN更高质量的样本，这个loss是可以用Adam来优化的。

4.考虑数据标签任务（分类任务）

• ACGAN
  

如上图所示，ACGAN相对于GAN不同点在于：

（1）GAN只有Z即噪声作为输入变量，ACGAN多了一个分类变量

（2）GAN输出只有判定数据真假判断，而ACGAN除了真假外增加了类别判断

5.梯度查看

在模型训练时，需要通过梯度来观察整个模型是否有学习到，可以通过其梯度进行观察

（1）判别器顶层梯度

（2）生成器顶层梯度

判别器一开始就接受了高梯度更新，导致判别器一开始的判别能力已经很强了；而生成器一开始的只接受较少的梯度用于更新参数，导致生成器效果较差。

利用上面的方法修改过后，生成器一开始可以接受大的梯度进行更新，同时梯度分布来看更加集中。