GAN 训练笔记(持续更新)

输入(input):

1. normalize至(-1,1)区间

 

生成器(Generator):

1. 激活函数最后一层使用tanh(),中间的激活层使用Relu()或者leakyRelu()
2. 隐向量Z使用高斯分布生成, 不要使用均匀分布. (Z是三维的对于图像而言)
3. 使用dropout

判别器(Discriminator):

1. 最后一层使用的是sigmoid()
2.  

损失函数(Loss):

1. 对于二分类的真假标签建议不要使用直接的0,或1,而是使用(0.7,1.2) 与 (0.0.3)这样的随机分布来替代 有助于避免梯度崩溃
2. 如果G的loss一直在稳定下降,有可能出现G在不断生成一些重复的图片这是没有意义的.

优化器(optim):

1. WGAN 建议使用RMSprob