GMVAE（GAUSSIAN MIXTURE VARIATIONAL AUTOENCODERS）高斯混合变分自编码器公式推导

GMM

高斯混合模型：
$$\begin{array}{rl}p(x)=& \sum _{c}p(c)p(x|c)\\ =& \sum _{k=0}^{K-1}{\pi }_{k}N(x|{\mu }_k,{\sigma }_k)\end{array}$$
其中${\sum }_k{\pi }_k=1，c是一个K维的one-hot向量，p(c_k=1)={\pi }_k$，这里的c其实服从类别分布，也就是$c\sim Cat(\pi )$。

VAE回顾

变分自编码器的ELBO为：
$$ELBO=E_{q_{\varphi }(z|x)}[log{p}_{\theta }(x|z)]-KL[q_{\varphi }(z|x)||p_{\theta }(z)]\text{\hspace{1em}(*)}$$
不熟悉的可以看变分自编码器回顾。在实际使用时，常常假设隐变量$z$的变分后验$q_{\varphi }(z|x)$和先验$p_{\theta }(z)$是高斯分布。但有的时候使用单个高斯分布可能使隐变量$z$不能充分的学习到$x$的特征，比如MINIST数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理。所以就有学者将GMM和VAE结合起来，提出了GMVAE模型。

GMVAE

GMVAE的概率图模型如下图所示：

其中，$x$是观测数据，$c和z$分别是离散和连续的潜变量，$c$可以理解为指示模型选择哪个高斯的变量（比如第i个高斯），$z$可以理解为选择的第i个高斯产生的变量。实线是生成过程（decoer 过程），虚线是训练过程（encoder 过程），从生成过程中可以看出，$x$依赖于$z$，$z$依赖于$c$。

以minist数据集解释一下生成过程，假设我们已经训练好了GMVAE模型（意味着得到了10个高斯分布，第$i$个高斯分布充分学习到了数字$i$的特征）。

1. 选择一个高斯分布，$c\sim Cat(\pi )$
2. 从1选择的高斯分布采样一个$z$，$z\sim N({\mu }_c，{\sigma }_c^{2}I)$
3. 生成样本$x$
   3.1 计算$x$对应的均值${\mu }_x$和方差${\sigma }_x^2$
   $$[{\mu }_x,log{\sigma }_x^2]=f(z;\theta )$$
   3.2 生成样本$x$，$x\sim N({\mu }_x,{\sigma }_x^{2}I)$

其中，$f$是参数为$\theta$的神经网络，输入时$z$, $N({\mu }_x,{\sigma }_x^{2}I)$时多元高斯分布。

熟悉变分自编码器的同学都知道，$ELBO$的推导其实是从观测数据$x$的对数似然函数推导来的。
所以上图表示的$x$的对数似然函数是：
$$logp(x)={\int }_z\sum _{c}p(z,c)p(x|z)dz\text{\hspace{1em}(1)}$$
其中，$p(z,c)$表示的就是高斯混合，同时也是先验分布。$p(z,c)$也可以表示为$$p(z,c)=p(c)p(z|c)\text{\hspace{1em}(2)}$$
直觉上，$p(c)$就是类别分布，$p(z|c)$是一个多元高斯分布。

令$p_{\theta }(z,c,x)=p_{\theta }(c)p_{\theta }(z|c)p_{\theta }(x|z)$表示$z,c,x$的联合概率分布，参数为$\theta$，则（1）式就是对$z,c$进行了边缘化。
即
$$\begin{array}{rl}log{p}_{\theta }(x)=& log{\int }_z\sum _c{p}_{\theta }(z,c,x)dz\\ =& log{\int }_z\sum _c\frac{p_{\theta }(z,c,x)q_{\varphi }(z,c|x)}{q_{\varphi }(z,c|x)}dz\\ =& log{\int }_z\sum _c\frac{p_{\theta }(c,z)p_{\theta }(x|z)q_{\varphi }(z,c|x)}{q_{\varphi }(z,c|x)}dz\\ =& log{E}_{q_{\varphi }(c,z|x)}[\frac{p_{\theta }(c,z)p_{\theta }(x|z)}{q_{\varphi }(z,c|x)}]\\ \ge & E_{q_{\varphi }(c,z|x)}[log\frac{p_{\theta }(c,z)p_{\theta }(x|z)}{q_{\varphi }(z,c|x)}]\end{array}$$

$$\begin{array}{rl}ELBO=& E_{q_{\varphi }(c,z|x)}[log\frac{p_{\theta }(c,z)p_{\theta }(x|z)}{q_{\varphi }(z,c|x)}]\\ =& E_{q_{\varphi }(c,z|x)}[log{p}_{\theta }(x|z)]-KL[q_{\varphi }(c,z|x)||p_{\theta }(c,z)]\end{array}\text{\hspace{1em}(3)}$$
（3）式中，第一项是重构误差，可第二项是变分后验$q_{\varphi }(c,z|x)$与先验$p_{\theta }(c,z)$的KL损失，也就是两个高斯混合的KL距离。在训练过程中，使用变分后验$q_{\varphi }(z,c|x)$去近似真实的后验$p_{(}z,c|x)$，通过平均场理论，可以将$q_{\varphi }(z,c|x)$分解为$$q_{\varphi }(z,c|x)=q_{\varphi }(z|x)q_{\varphi }(c|x)\text{\hspace{1em}(4)}$$。

重构误差项可以通过SGVB估计算出，KL项计算比较复杂，下面计算KL项。将（2）式和（4）式带入KL项得：
$$\begin{array}{rl}-KL[q_{\varphi }(c,z|x)||p_{\theta }(c,z)]=& E_{q_{\varphi }(c,z|x)}[log\frac{p_{\theta }(c,z)}{q_{\varphi }(c,z|x)}]\\ =& E_{q_{\varphi }(c,z|x)}[log\frac{p_{\theta }(c)p_{\theta }(z|c)}{q_{\varphi }(c|x)q_{\varphi }(z|x)}]\\ =& E_{q_{\varphi }(c,z|x)}[log{p}_{\theta }(c)+log{p}_{\theta }(z|c)-log{q}_{\varphi }(c|x)-log{q}_{\varphi }(z|x)]\end{array}\text{\hspace{1em}(5)}$$
（5）式中，c表示选择第几个高斯，是一个编号，而z和x是向量，$p_{\theta }(c)是c的先验分布，一般初始化为\frac{1}{K}，q_{\varphi }(c|x)是c的后验分布，p_{\theta }(z|c)是z的先验分布，是一个高斯分布，q_{\varphi }(z|x)是z的后验分布，也是一个高斯分布$
在论文Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering中，将$q_{\varphi }(c|x)$做了如下变化。
$$\begin{array}{rl}{q}_{\varphi }(c|x)=& E_{q(z|x)}[p(c|z)]\\ p(c|z)=& \frac{p(c)p(z|c)}{{\sum }_{c^{\prime }=1}^{K}p(c^{\prime })p(z|c^{\prime })}\end{array}$$
下面分别求（5）中的每一项：



上面的积分号里是两个高斯分布的交叉熵，所以最后是下式：


上面的积分号里也是两个高斯分布的交叉熵。



这里也用到了SGVB的方法。

至此，（3）式的ELBO的每一项都可以求解。