生成对抗网络的训练技巧

①使用tanh作为生成器最后一层的激活，而不用sigmoid；

②使用正太分布对潜在空间中的点进行激活，而不用均匀分布；

③稀疏的梯度会阻碍GAN的训练，而最大池化运算和relu激活可能会导致梯度稀疏，所以使用带步长卷积取代池化，使用leakyrelu取代relu；

④生成的图像中可能会出现伪影，这是由于生成器中像素空间的不均匀覆盖导致的，所以卷积时使用的内核大小要能被步幅大小整除；

⑤Label平滑，也就是说，如果有两个目标label：Real=1 和 Fake=0，那么对于每个新样本，如果是real，那么把label替换为0.7~1.2之间的随机值；如果样本是fake，那么把label替换为0.0~0.3之间的随机值；还可以在训练判别器时向标签中添加噪声；

⑥适当采用批标准化和梯度正则化。