变分贝叶斯学习记录

一、基础知识

1.为什么要变分贝叶斯？

这是由于传统贝叶斯算法中的后验概率(Posterior)$P(Z|X)$难以求解（其中$X$为已知的观测数据，$Z$为隐变量），因此，通过变分贝叶斯的方法，寻找一个近似后验概率的概率向量，以代替传统方法中的难以求解的后验概率。后文中，在正式介绍变分贝叶斯之前，我们先来介绍一下EM算法及隐变量的含义。

2. EM算法都干了些啥？

我们先以混合高斯模型(GMM)为例，来解释一下EM（Expectation-Maximization Algorithm）算法：

假设我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这是概率论课本上的极大似然估计，如下图所示：

然而现在我面临的是这种情况，我手上的数据是四川人和东北人的身高合集，然而对于其中具体的每一个数据，并没有标定出它来自 “东北人”还是“四川人”。如果把这个数据集的概率密度画出来，就是两个正态分布的叠加：

叠加以后的图片没有画，可以自己脑补一下。叠加后是一个双峰的概率密度函数，这个双峰的概率密度函数是有模型的，称作高斯混合模型（GMM），写作：

而对GMM模型进行参数估计时，这里面既要估计每个高斯分布的均值和方差，又要估计样本来源于哪一个高斯分布，此时就要用EM算法，即：

EM算法适用于带有隐变量的概率模型的估计，而关于EM算法的详细原理，这里不叙述。

3. 解释一下“隐变量Z”：

说了半天，那究竟什么是隐变量呢？隐变量就是观测不到的变量，对于上面的四川人和东北人的例子，对每一个身高而言，它来自四川还是东北，就是一个隐变量。若用$Z=0$或$Z=1$标记样本来自哪个总体，则Z就是隐变量。

（值得一提的是，隐变量Z=0 or Z=1 也可看成分类，因此，变分贝叶斯也可以做分类算法）

二、变分贝叶斯推导原理

1.明确任务

回到最开始的初衷，引入变分贝叶斯方法是由于传统贝叶斯算法中的后验概率(Posterior)$P(Z|X)$难以求解（其中$X$为已知的观测数据，$Z$为隐变量），因此，通过变分贝叶斯的方法，寻找一个近似后验概率的概率向量，以代替传统方法中的难以求解的后验概率。

由于$P(Z|X)$显然只是变量$Z$的函数与$X$无关（因为作为条件的变量都是已知的），故用以近似$P(Z|X)$的概率向量可用一个关于变量$Z$的函数来表示来表示，即$Q(Z)$。

因此，我们的任务是：
寻找一个$Q(Z)$，使得他近似等价于后验概率$P(Z|X)$

故有如下推导：

即：$logP(X)=L(Q(Z))+KL(Q(Z)||P(Z|X))$
简写为：$logP(X)=L(Q)+KL(Q||P)$

2.优化目标

其中，$KL(Q(Z)||P(Z|X))$表示KL-散度，在信息论中接触过这个变量，其作用时用来衡量两个概率向量有多大差异。$KL(Q||P)$越大，就说明Q与P之间的差异性越大，即：$Q(Z)$对$P(Z|X)$的近似程度越差，因此，我们的目的是最小化$KL(Q||P)$，即：
$$\begin{array}{r}minKL(Q||P)\end{array}$$
再看上面的推导，由于$X$是已知的观测量，因此$logP(X)$是常数，固定值。所以，最小化$KL(Q||P)$可以等价于最大化$L(Q)$，即：
$$\begin{array}{r}maxL(Q)\end{array}$$
由于$KL(Q||P)\ge 0$，故：
$$\begin{array}{r}logP(X))\ge L(Q)\end{array}$$
所以$L(Q)$可以看成是$logP(X)$的下界，通常称为：ELOB(Evidence Lower Bound)。也就是我们通过最大化对数数似然函数logP(X)的下界来逼近对数似然函数的logP(X)。用一个图来说明$logP(X)$、$L(Q)$、$KL(Q||P)$这三者的关系：

3.求解过程

$$\begin{array}{r}maxL(Q)\end{array}$$
其中，
$$\begin{array}{r}L(Q)=\int Q(Z)logP(Z,X)dZ-\int Q(Z)logQ(Z)dZ\end{array}$$
求解上述优化目标的方法如下：
（1）假设qi(Zi)分布之间都是独立的（平均场理论的假设前提）即：
$$\begin{array}{r}Q(Z)=\prod _{i}Q(z_i)\end{array}$$

$$\begin{array}{r}dZ=\prod _{j}d{z}_j\end{array}$$

将上式带入$L(Q)$，故有：
$$\begin{array}{rl}\int Q(Z)logP(Z,X)dZ& =\int \prod _{i}Q(z_i)logP(Z,X)dZ\\ & =\int Q(z_j)(\prod _{i:i\ne j}Q(z_i)logP(Z,X)d{z}_i)d{z}_j\\ & =\int Q(z_j)E_{i\ne j}[logP(Z,X)]d{z}_j\\ & =\int Q(z_j)log\{exp(E_{i\ne j}[logP(Z,X)])\}d{z}_j\\ & =\int Q(z_j)log\frac{exp(E_{i\ne j}[logP(Z,X)])}{\int exp(E_{i\ne j}[logP(Z,X)])}d{z}_j-C\\ & =\int Q(z_j)log{Q}^{\ast }(z_j)d{z}_j-C\end{array}$$
及：
$$\begin{array}{rl}\int Q(Z)logQ(Z)dZ& ＝\int \prod _{i}Q(z_i)log\prod _{j}Q(z_j)dZ\\ & ＝\int \prod _{i}Q(z_i)\sum _{j}logQ(z_j)dZ\\ & =\sum _j\int \prod _{i}Q(z_i)logQ(z_j)dZ\\ & ＝\sum _j\int Q(z_j)logQ(z_j)d{z}_j\int \prod _{i:i\ne j}Q(z_i)d{z}_i\\ & =\sum _j\int Q(z_j)logQ(z_j)d{z}_j\end{array}$$
推导解释：
（1）由于$\int Q(z_i)d{z}_i=1$，所以$\int {\prod }_{i:i\ne j}Q(z_i)d{z}_i={\prod }_{i:i\ne j}\int Q(z_i)d{z}_i=1$
（2）上述其实就是内层先对$i\ne j$的那些积分，然后外层再单独对$i=j$的那一个积分，所以，$L(Q)$才有那种形式。

综上，可以得到$L(Q)$为：
$$\begin{array}{rl}L(Q)& =\int Q(z_j)log{Q}^{\ast }(z_j)d{z}_j-\sum _j\int Q(z_j)logQ(z_j)d{z}_j-C\\ & =\int Q(z_j)\frac{log{Q}^{\ast }(z_j)}{Q(z_j)}d{z}_j-\sum _{i:i\ne j}\int Q(z_i)logQ(z_i)d{z}_i-C\\ & ＝-KL(Q(z_j)||Q^{\ast }(z_j))+\prod _{i:i\ne j}H(Q(z_i))-C\end{array}$$
其中，$H(Q(z_i))=-\int Q(z_i)logQ(z_i)d{z}_i$为信息熵。由于信息熵非负，且KL散度也非负，故，若要$L(Q)$最大，便需要KL散度为0，即：
$$\begin{array}{r}-KL(Q(z_j)||Q^{\ast }(z_j))=0\end{array}$$

解得：
$$\begin{array}{r}Q(z_j)=Q^{\ast }(z_j)=\frac{1}{C_0}exp(E_{i\ne j}[logP(Z,X)])\end{array}$$

其中，$C_0$为常数。

至此，就得到了$Q(Z)$的分布形式，也就达到了我们的初衷：寻到并顺利地得到了一个用以近似$P(X|Z)$的$Q(Z)$。

三、困惑与记录

1. 推导的疑问

因为下是推导：

所以推导时，有：图中上式到下式的过度

2. 为什么会有迭代？

不断地迭代更新q,并将刚刚计算得到的结果代入下一次计算中，一次比一次更好，因此，才会有迭代收敛一说！（感谢徐亦达老师在youtu上精彩且透彻的视频讲解！）

3. 例子记录

4. 变分贝叶斯与EM算法的区别

EM算法是叠代并更新待估计的参数，而变分贝叶斯则是叠代并更新待估计的参数和函数（这里的函数具体指的是：后验概率P(Z|X)，估计的结果为Q(Z)，与其说估计，倒不如说是近似与替代）

（1）变分贝叶斯的两步叠代为：

E步骤： 最大化L(Q) w.r.t. Q，此时θ固定，受Q约束，等效最小化；（详细请看EM算法）(因此，推理步骤试图找到最接近精确后验分布的q)
M步骤： 最大化L(Q) w.r.t. θ，此时Q固定；

参考：参考与链接1

（2）而EM算法的两步叠代为：

参考：参考与链接2

四、缺点及评价

为了使得目标函数可解，上述传统的变分推理方法通常假设变分分布是完全可分解的平均场形式（mean-field form），即强独立性的假设，这种假设忽略了变量间的相关性。但在实际应用中，变量间相关性不可忽略，否则导致降低变分推理方法近似的准确性。

为了建模变量间的相关性，可使用以下方法替代传统的平均场中的独立性的强假设：

（1）高斯推理方法（Gaussian approximation）

（2）变分推理方法

结构化的变分推理方法（structured variational inference）

层次化变分推理方法（hierarchical variational inference）

（3）copula 变分推理（copula variational inference，CVI）

而关于相关性的研究可参考《变分推理及贝叶斯方法在主题模型中应用的研究》等文献。