GAN网络之generator的训练图解

gan训练tricks

generator的最后一层一般使用tanh激活函数，这样可以使训练更加稳定；-- 摘自博客

但是我在实际用的时候，使用sigmoid和tanh的效果是差不多的；

• 需要注意：discriminator的最后一层的输出的激活函数选择tanh会导致，cuda
  trigger问题，因此，一般来说，discriminator会选择sigmoid函数作为激活函数。
• 在实际训练的时候，generator的loss在不断地下降，而discriminator的loss在上升，这不是说网络性能不好，是正常的，只要两者loss最后收敛到一个比较稳定的值附近就可以。
• g的学习率通常来说比d的学习率大一个数量级就会好很多。