Variational AutoEncoders(VAE)

针对GAN的改进

GAN有两个缺陷：

• 只能判断生成的图像是不是一个真的图像，但不知道生成的是什么的图像，很有可能生成一个看起来像是真实图像却没有意义的图片
• 每次用来训练的noise向量都是随机的，无法产生一些特定的图片

针对AutoEncoder的改进

AutoEncoder并不是一个生成式的模型，它更多的只是一种能够记住输入特征的模型，再用特征向量来reconstruct输入。

但是AutoEncoder更多的是对于已经出现过的模式记忆和重构，对于没有没有出现过的模式则无法预测。
因为没有提取出一个高度抽象的整体的特征，每一个输入提炼出的feature的分布是散乱的无意义的，无法使用feature来得到一个未知的输入。即无法认为的生成一些相似的样本。

VAE

对提取出的feature分布加上限制，规定其是一个满足unit normal的分布，在loss中加入其与unit normal的KL-divergence,迫使提取的feature接近unit normal

loss = KL(feature, unit_no