GMVAE（GAUSSIAN MIXTURE VARIATIONAL AUTOENCODERS）高斯混合变分自编码器公式推导

最新推荐文章于 2025-03-03 20:53:46 发布

风吹草地现牛羊的马

最新推荐文章于 2025-03-03 20:53:46 发布

阅读量5.2k

点赞数 4

分类专栏：机器学习 NLP 变分贝叶斯系列

本文链接：https://blog.csdn.net/mch2869253130/article/details/106692401

版权

本文深入解析了结合高斯混合模型(GMM)与变分自编码器(VAE)的GMVAE模型，阐述其概率图模型、生成过程及训练机制，探讨了如何利用多个高斯分布更准确地学习数据特征。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GMM

高斯混合模型：
$\begin{aligned} p(x) = &\sum_{c}p(c)p(x|c) \\ = &\sum_{k=0}^{K-1} \pi_{k}N(x|\mu_{k}, \sigma_{k}) \end{aligned}$
其中 $\sum_{k} \pi_{k}=1， c是一个K维的one-hot向量，p(c_{k}=1)=\pi_{k}$ ，这里的c其实服从类别分布，也就是 $c\sim Cat(\pi)$ 。

VAE回顾

变分自编码器的ELBO为：
$\tag{*} ELBO = E_{q_{\phi}(z|x)}[logp_{\theta}(x|z)]-KL[q_{\phi}(z|x)||p_{\theta}(z)]$
不熟悉的可以看变分自编码器回顾。在实际使用时，常常假设隐变量 $z$ 的变分后验 $q_{\phi}(z|x)$ 和先验 $p_{\theta}(z)$ 是高斯分布。但有的时候使用单个高斯分布可能使隐变量 $z$ 不能充分的学习到 $x$ 的特征，比如MINIST数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理。所以就有学者将GMM和VAE结合起来，提出了GMVAE模型。

GMVAE

GMVAE的概率图模型如下图所示：
在这里插入图片描述
其中， $x$ 是观测数据， $c 和 z$ 分别是离散和连续的潜变量， $c$ 可以理解为指示模型选择哪个高斯的变量（比如第i个高斯）， $z$ 可以理解为选择的第i个高斯产生的变量。实线是生成过程（decoer 过程），虚线是训练过程（encoder 过程），从生成过程中可以看出， $x$ 依赖于 $z$ ， $z$ 依赖于 $c$ 。