前言
传统的VAE,隐变量服从标准高斯分布(单峰),但有时候,单个高斯分布可能不能完全表达图像x的特征,比如MINIST数据集有0~9这10个数字,直觉上使用10个高斯分布来替代单个高斯分布更为合理,因此有学者将混合高斯分布模型(GMM)与VAE进行结合,其结果便是GMVAE。
本文为代码与论文结合进行理解的产物,如有错误,欢迎指出。本文不会进行ELBO的推导,将直接从论文给出的ELBO算式进行讲解。
GMVAE的生成过程
生成步骤如下:说人话就是:
- 1a表示从标准正态分布中进行采样,得到,具体的采样方法我会写一篇博客进行说明
- 1b表示从Mult分布中采样,其实是一个one-hot编码,其实可以自己随意指定
- 由于的取值非0即1,而,所以1c表示从GMM中选择一个高斯分布进行采样,得到隐变量x,GMM中每个高斯分布的均值和方差将由步骤一采样到的进行变化得到ÿ