生成模型--综述1

变分推断、VAE、GAN

  EM 算法、VAE、GAN、AAE、ALI (BiGAN) 都可以作为变分推断的某个特例。标准的 GAN 的优化目标是不完备的，这可以解释为什么 GAN 的训练需要谨慎地选择各个超参数，当然改善这种不完备性并增强 GAN 训练的稳定性的一种常用方法就是增加一个正则项。

  对抗自编码器（Adversarial Autoencoders，AAE）和对抗推断学习（Adversarially Learned Inference，ALI）这两个模型是 GAN 的变种之一，也可以被纳入到变分推断中。

基于深度学习思想的生成模型

  主要有Glow、GAN（以及GAN的变种模型）、VAE 和 Autoregressive Model（自回归模型）。
  1）生成模型通常要引入假设，在假设符合实际的情况下，这种模型是最优的，可以提升学习效率和泛化性能。
  2）因为假设，如果假设不符合实际，这种模型可能带来偏差。实际应用中，还需要对模型进行检验。

各种生成模型

1. 自回归模型（Autoregressive Model）
     自回归模型在 PixelCNN 和 PixelRNN 上展示了很不错的实验效果，但是由于是按照像素点去生成图像导致计算成本高， 在可并行性上受限，在处理大型数据如大型图像或视频是具有一定麻烦的。

2. 变分自编码器（VAE）
     VAE 是在 Autoencoder 的基础上让图像编码的潜在向量服从高斯分布从而实现图像的生成，优化了数据对数似然的下界，VAE 在图像生成上是可并行的， 但是 VAE 存在着生成图像模糊的问题，Glow 文中称之为优化相对具有挑战性。

3. 生成对抗网络（GAN）
     GAN 的思想就是利用博弈不断的优化生成器和判别器从而使得生成的图像与真实图像在分布上越来越相近。GAN 生成的图像比较清晰， 在很多 GAN 的拓展工作中也取得了很大的提高。但是 GAN 生成中的多样性不足以及训练过程不稳定是 GAN 一直以来的问题，同时 GAN 没有潜在空间编码器，从而缺乏对数据的全面支持。

自回归模型、GAN和VAE的区别

  自回归模型和 VAE 是基于似然的方法，GAN 则是通过缩小样本和生成之间的分布实现数据的生成。