《KL散度、WGAN、VAE》

KL散度

KL 散度是根据两个概率分布的表达式来算它们的相似度的。

WGAN相对于原始GAN

1.判别器最后一层去掉sigmoid
2.生成器和判别器的loss不取log
3.每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c
4.不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行

VAE

VAE的Encoder尽量向正态分布看齐。
对抗的原理在于：当Decoder训练不好，重构误差大，那么就降低噪声，使得拟合容易，当Decoder训练的好时，噪声增加，让重构误差增大，Decoder提升它的生成能力。