变分推断（Variational Inference）

在概率模型的应用中，一个中心任务是在给定观测（可见）数据变量X的条件下，计算潜在变量Z的后验概率分布p(Z j X)，以及计算关于这个概率分布的期望。对于实际应用中的许多模型来说，计算后验概率分布或者计算关于这个后验概率分布的期望是不可⾏的。这可能是由于潜在空间的维度太搞，以至于无法直接计算，或者由于后验概率分布的形式特别复杂，从而期望无法得到解析解。

变分

对于普通的函数f(x)，我们可以认为f是一个关于x的一个实数算子，其作用是将实数x映射到实数f(x)。那么类比这种模式，假设存在函数算子F，它是关于f(x)的函数算子，可以将f(x)映射成实数F(f(x)) 。对于f(x)我们是通过改变x来求出f(x)的极值，而在变分中这个x会被替换成一个函数y(x)，我们通过改变x来改变y(x),最后使得F(y(x))求得极值。

变分:指的是泛函的变分。它最终寻求的是极值函数：它们使得泛函取得极大或极小值。比如，从A点到B点有无数条路径，每一条路径都是一个函数，这无数条路径，每一条函数（路径）的长度都是一个数，那你从这无数个路径当中选一个路径最短或者最长的，这就是求泛函的极值问题。

变分推断

我们引入一个识别模型 $q_{\varphi }(z|x)$，它被用于逼近真实后验分布$p_{\theta }(z|x)$。变分推断的目标是尽量缩小识别模型和后验分布的KL divergence，变分推断的将会得到一组$q_{\varphi }(z|x)$

我们通过对对数边缘概率的分解得到其ELOB与KL divergence的加和的形式。
KL divergence是衡量两个函数的不相似度，当等于0时表示两个分布完全一样。P(x)不变，那么想让KL( q || p )越小，即让ELOB越大，反之亦然。因为KL≥0，所以logP(x)≥ELOB。ELOB被称为变分下界。

平均场理论

在平均场理论中$q\varphi (z|x)$被构造成了：

也就是假设$q_{\varphi }(z|x)$函数的随机变量之间相互独立

变分下界

求解过程（极大化ELOB）

因为$q_i(z_i)$独立同分布，所以我们可以依次来优化，我们对其中一项$q_j(z_j)$为：
L ( q j ) = ∫ ∏ i q j { l n p ( X , Z ) − ∑ i l n q i } d Z = ∫ q j { ∫ l n ( X , Z ) ∏ i ≠ j q i d Z i } d Z j − ∫ q j l n q j d Z j + C = ∫ q j l n p ˇ ( X , Z j ) d Z j − ∫ q j l n q j d Z j + C \mathcal L(q_j)=\int \prod_i q_j\{ lnp(X,Z)-\sum_ilnq_i \} dZ \\=\int q_j\{ \int ln(X,Z) \prod_{i\neq j}q_i dZ_i \} dZ_j -\int q_j ln q_jd Z_j +C \\ =\int q_j ln\check{p}(X,Z_j)dZ_j - \int q_j lnq_jdZ_j +C L(qj​)=∫i∏​qj​{lnp(X,Z)−i∑​lnqi​}dZ=∫qj​{∫ln(X,Z)i̸​=j∏​qi​dZi​}dZj​−∫qj​lnqj​dZj​+C=∫qj​lnpˇ​(X,Zj​)dZj​−∫qj​lnqj​dZj​+C
这其中的$\check{p}(X,Z_j)$为出去第j项的期望${\mathbb{E}}_{i̸=j}[lnp(X,Z)]+C$。波浪号代表的是近似。
$$=\int q_{i}ln\check{p}(X,Z_j)d{Z}_j-\int q_{j}ln{q}_{j}d{Z}_j+C$$
也就等价于-KL也就是说我们最小化KL散度，因此$ln{q}_j={\mathbb{E}}_{i̸=j}[lnp(X,Z)]+C$得到最优解。
归一化：
$$q_j^{\ast }(Z_j)=\frac{{\mathbb{E}}_{i̸=j}[lnp(X,Z)]}{\int {\mathbb{E}}_{i̸=j}[lnp(X,Z)]d{Z}_j}$$

一元高斯分布的例子

我们现在有给定的观测值数据 D = { x 1 , x 2 , . . . , x n } D=\{ x_1,x_2,...,x_n \} D={x1​,x2​,...,xn​}的情况下推断均值μ和精度$\tau$的后验。其中，我们假设数据是独立地从高斯分布中抽取的。似然函数为：
p ( D ∣ μ , τ ) = ( τ 2 π ) N 2 e x p { − τ 2 ∑ n = 1 N ( x n − μ ) 2 } p(D|μ,\tau) = (\frac{\tau}{ 2π })^{\frac{N}{2}}exp\{ -\frac{\tau}{2}\sum_{n=1}^{N} (x_n-μ)^2 \} p(D∣μ,τ)=(2πτ​)2N​exp{−2τ​n=1∑N​(xn​−μ)2}
我们现在引入μ和$\tau$的共轭先验分布
$$\begin{gathered} p(\mu |\tau )=\mathcal{N}(\mu |{\mu }_0,({\lambda }_0\tau {)}^{-}1) \\ p(\tau )=Gam(\tau |a_0,b_0) \end{gathered}$$
其中Gam为
$$Gam(\lambda |a_0,b_0)=\frac{1}{\Gamma (a)}{b}_0^{a_0}{\lambda }^{a_0-1}exp(-b_0\lambda )$$
我们可以看出后验依然是高斯gamma分布，后验概率分布的一个分解变分近似，形式为
$$q(\mu ,\tau )=q_{\mu }(\mu )q_{\tau }(\tau )$$
最优因子$q_{\mu }$$q_{\tau }$可以通过式子$lnq(\mu ，\tau )={\mathbb{E}}_{i̸=j}[lnp(X,Z)]+C$得到
由上式我们对于$q_{\mu }(\mu )$有：
l n q μ ∗ ( μ ) = E τ [ l n p ( D , μ ∣ τ ) ] + C = E τ [ l n p ( D ∣ μ , τ ) + l n ( μ ∣ τ ) ] + C = E τ [ − τ 2 ∑ n = 1 N ( x n − μ ) 2 + N 2 l n τ 2 π + λ 0 ( μ − μ 0 ) 2 ] + C = E τ [ − τ 2 ∑ n = 1 N ( x n − μ ) 2 − τ 2 λ 0 ( μ − μ 0 ) 2 ] + C = − 1 2 E [ τ ] { λ 0 ( μ − μ 0 ) 2 + ∑ n = 1 N ( x n − μ ) 2 } + C lnq_μ^*(μ)=\Bbb E_{\tau}[lnp(D,μ|\tau)]+C \\=\Bbb E_{\tau}[lnp(D|μ,\tau)+ln(μ|\tau)]+C \\=\Bbb E_{\tau}[ -\frac{\tau}{2}\sum_{n=1}^{N} (x_n-μ)^2 +\frac{N}2 ln\frac{\tau}{2\pi}+\lambda_0(\mu-\mu_0)^2]+C \\=\Bbb E_{\tau}[ -\frac{\tau}{2}\sum_{n=1}^{N} (x_n-μ)^2 -\frac{\tau}{2}\lambda_0(\mu-\mu_0)^2]+C \\=-\frac12 \Bbb E[\tau]\{\lambda_0(\mu-\mu_0)^2+\sum_{n=1}^N(x_n-\mu)^2\}+C lnqμ∗​(μ)=Eτ​[lnp(D,μ∣τ)]+C=Eτ​[lnp(D∣μ,τ)+ln(μ∣τ)]+C=Eτ​[−2τ​n=1∑N​(xn​−μ)2+2N​ln2πτ​+λ0​(μ−μ0​)2]+C=Eτ​[−2τ​n=1∑N​(xn​−μ)2−2τ​λ0​(μ−μ0​)2]+C=−21​E[τ]{λ0​(μ−μ0​)2+n=1∑N​(xn​−μ)2}+C现在将ln去掉，我们可以发现$q_{\mu }$为一个高斯分布$\mathcal{N}(\mu |{\mu }_N,{\lambda }_N^{-1})$均值和方差为：
$$\begin{gathered} {\mu }_N=\frac{{\lambda }_0{\mu }_0+N\overline{x}}{{\lambda }_0+N} \\ {\lambda }_N=({\lambda }_0+N)\mathbb{E}[\tau ] \end{gathered}$$

对于$q_{\tau }(\tau )$
$$\begin{gathered} ln{q}_{\tau }^{\ast }(\tau )={\mathbb{E}}_{\tau }[lnp(D,\mu |\tau )+lnp(\mu |\tau )]+lnp(\tau )+C（7） \\ 其中lnp(\tau )=ln(\frac{1}{\Gamma (a)}{b}_0^{a_0}{\lambda }^{a_0-1}exp(-b_0\lambda )) \\ =(a_0-1)ln\tau -b_0\tau +\frac{N+1}{2}ln\tau \\ 式子（7）={\mathbb{E}}_{\tau }[-\frac{\tau }{2}\sum _{n=1}^N(x_n-\mu {)}^2-\frac{\tau }{2}{\lambda }_0(\mu -{\mu }_0{)}^2]+C \\ +(a_0-1)ln\tau -b_0\tau +\frac{N+1}{2}ln\tau \end{gathered}$$

例子：混合高斯的变分

我们现在使用变分推断的方法讨论高斯混合模型。如图所示，对于每一个观测$x_n$都有一个潜在的变量$z_n$,它是一个1-of-K表示的二值向量，潜在变量 Z = { z 1 , . . . , z N } Z=\{z_1,...,z_N\} Z={z1​,...,zN​}.观测数据集 X = { x 1 , . . . , x N } X=\{x_1,...,x_N \} X={x1​,...,xN​}

混合系数π，${\pi }_k$表示$z_{n}k=1$的概率：
$$p(Z|\pi )=\prod _{n=1}^N\prod _{k=1}^K{\pi }_k^{z_{n}k}$$
数据的条件概率分布为
$$p(X|Z,\mu ,\Lambda )=\prod _{n=1}^N\prod _{k=1}^K\mathcal{N}(x_n|{\mu }_k,{\Lambda }_k^{-1}{)}^{z_{n}k}$$
然后我们引入参数$\mu ,\Lambda ,\pi$的先验分布，由共轭先验我们选择狄利克雷分布作为混合系数$\pi$的先验
$$p(\pi )=Dir(\pi |{\alpha }_0)=C({\alpha }_0)\prod _{k=1}^K{\pi }_k^{{\alpha }_0-1}$$
其中C(${\alpha }_0$)为归一化常数${\alpha }_0$为超参数。
我们引入高斯-Wishart作为$\mu ,\Lambda$的先验：
$$\begin{gathered} p(\mu ,\Lambda )=p(\mu |\Lambda )p(\Lambda ) \\ =\prod _{k=1}^K\mathcal{N}({\mu }_k|m_0,({\beta }_0{\Lambda }_k{)}^{-1})\mathcal{W}({\Lambda }_k|W_0,v_0) \end{gathered}$$

变分分布

我们将上面的概率图模型表达的式子写出：
$$p(X,Z,\pi ,\mu ,\Lambda )=p(X|Z,\mu ,\Lambda )p(Z|\pi )p(\pi )p(\mu |\Lambda )p(\Lambda )（1）$$
我们写出一个变分分布：
$$q(Z,\pi ,\mu ,\Lambda )=q(Z)q(\pi ,\mu ,\Lambda )（2）$$
对于因子q(Z),最优因子对数为：
$$ln{q}^{\ast }(Z)={\mathbb{E}}_{\pi ,\mu ,\Lambda }[lnp(X,Z,\pi ,\mu ,\Lambda )]+C（3）$$
将上式拆分成式（1）的形式，我们现在只对变量Z相关的函数关系感兴趣，所以将与Z无关的项都整合到归一化系数中，上式可以改写成。
$$ln{q}^{\ast }(Z)={\mathbb{E}}_{\pi }[lnp(Z|\pi )]+{\mathbb{E}}_{\mu ,\Lambda }[lnp(X|Z,\mu ,\Lambda )]+C（4）$$
将上面的分布展开，把与z无关的项放入常数项中$$\begin{gathered} ln{q}^{\ast }(Z)=\sum _{n=1}^N\sum _{k=1}^K{z}_{nk}ln{\rho }_{nk}+C（5） \\ 其中ln{\rho }_{nk}为： \\ ln{\rho }_{nk}=\mathbb{E}[ln{\pi }_k]+\frac{1}{2}\mathbb{E}[ln[{\Lambda }_k]]-\frac{D}{2}ln(2\pi ) \\ -\frac{1}{2}{\mathbb{E}}_{{\mu }_k,{\Lambda }_k}[(x_n-{\mu }_k{)}^T{\Lambda }_k(x_n-{\mu }_k)] \end{gathered}$$
我们对式5两侧取指数可以得到：

我们要求这个概率分布是归一化的，并且我们注意到对于每个n值， znk都是二值的，在所有的k值上的加和等于1，因此我们有
$$\begin{gathered} q^{\ast }(Z)=\prod _{n=1}^N\prod _{k=1}^K{r}_{nk}^{z_{nk}} \\ 其中: \\ {r}_{nk}=\frac{{\rho }_{nk}}{{\sum }_{j=1}^k{\rho }_{nj}} \end{gathered}$$
由
于ρnk是一个实数值的指数，因此$r_{nk}$是非负的，且加和等于1，满足要求。对于离散概率分布$q^{\ast }(Z)$，我们有标准的结果:
$$\mathbb{E}[z_{nk}]=r_{nk}$$
得到了因子q(Z)的最优解，我们再来观察分布中的因子$q(\pi ,\mu ,\Lambda )$：
$$\begin{gathered} ln{q}^{\ast }(\pi ,\mu ,\Lambda )=lnp(\pi )+\sum _{k=1}^{K}lnp({\mu }_k,{\Lambda }_k)+{\mathbb{E}}_Z[lnp(Z|\pi )] \\ +\sum _{k=1}^K\sum _{n=1}^N\mathbb{E}[z_{nk}]ln\mathcal{N}(x_n|{\mu }_k,{\Lambda }_k^{-1})（6） \end{gathered}$$
我们观察到，这个表达式右侧可以分解成若干项的和，其中一些只与$\pi$有关，一些项只与$\mu 和\Lambda$有关因此可以进一步的分解：
$$q(\pi ,\mu ,\Lambda )=q(\pi )\prod _{k=1}^{K}q({\mu }_k,{\Lambda }_k)（7）$$
对（6）式分离出与$\pi$相关的项有：
$$\begin{gathered} ln{q}^{\ast }(\pi )=({\alpha }_0-1)\sum _{k=1}ln{\pi }_k+\sum _{k=1}^K\sum _{n=1}^N{r}_{nk}ln{\pi }_k+C \\ 可以将q^{\ast }(\pi )看成是狄利克雷分布其中\alpha 元素为{\alpha }_k，形式为： \\ {q}^{\ast }(\pi )=Dir(\pi |{\alpha }_k) \\ {\alpha }_k={\alpha }_0+N_k \end{gathered}$$
然后$q^{\ast }({\mu }_k,{\Lambda }_k)$可以使用乘积规则改写为$q^{\ast }({\mu }_k|{\Lambda }_k)q^{\ast }({\Lambda }_k)$观察式（6）为一个高斯-Wishart分布，形式为：
$$q^{\ast }({\mu }_k,{\Lambda }_k)=\mathcal{N}({\mu }_k|m_k,({\beta }_k,{\Lambda }_k{)}^{-1})\mathcal{W}({\Lambda }_k|W_k,v_k)$$
其中我们已经定义了

变分下界

我们也可以计算这个模型的下界：
L ( q j ) = ∫ q { l n p ( X , Z ) − ∑ i l n q i } d Z \mathcal L(q_j)=\int q\{ lnp(X,Z)-\sum_ilnq_i \} dZ L(qj​)=∫q{lnp(X,Z)−i∑​lnqi​}dZ
在重新估计期间监视模型的下界可以用来检测是否收敛。它也可以为解的数学表达式和它们的软件执行提供一个有价值的检查，因为在迭代重新估计的每个步骤中，这个下界的值应该不会减小。

预测概率密度

在高斯模型的贝叶斯混合的应用中，我们通常对观测变量的新值$\check{x}$的预测概率密度感兴趣。与这个观测相关联的有一个潜在变量$\check{z}$，从而预测概率分布为
$$p(\check{x}|X)=\sum _{\check{z}}\iiint {\pi }_k\mathcal{N}(\check{x}|{\mu }_k,{\Lambda }_k^{-1})p(\pi ,\mu ,\Lambda |X)d\pi d\mu d\Lambda$$
其中$p(\pi ,\mu ,\Lambda |X)$是参数的（未知）真实后验概率分布。我们可以先完成在$\check{z}$上的求和，得到

由于剩下的积分是无法计算的，因此我们通过将真实后验概率分布$p(\pi ,\mu ,\Lambda |X)$用它的变分近似q(π)q(µ，Λ)替换的方式来近似预测概率分布：
$$p(\check{x}|X)\backsimeq \sum _{k=1}^K\iiint {\pi }_k\mathcal{N}(\check{x}|{\mu }_k,{\Lambda }_k^{-1})q(\pi )q({\mu }_k,{\Lambda }_k)d\pi d{\mu }_{k}d{\Lambda }_k$$
其中我们使用了（7）式给出的分解⽅式，并且在每⼀项中，我们已经隐式地将j ̸= k的全部{${\mu }_j,{\Lambda }_j$}变量积分出去。，剩余的积分现在可以解析地计算，得到一个学生t分布的混合，即

变分线性回归

在模型证据框架中，我们通过使用最大化似然函数的方法进行点估计，从而近似了在α和β上的积分。一个纯粹的贝叶斯方法会对所有的超参数和参数进行积分。虽然精确的积分是无法计算的，但是我们可以使用变分法来找到一个可以处理的近似。
$\omega$的似然函数和先验分布为：
$$\begin{gathered} p(t|\omega )=\prod _{n=1}^N\mathcal{N}(t_n|{\omega }^T{\varphi }_n,{\beta }^{-1}) \\ p(\omega |\alpha )=\mathcal{N}(\omega |0,{\alpha }^{-1}I) \\ p(\alpha )=Gam(\alpha |a_0,b_0) \end{gathered}$$
可以表示为：

所有变量上的联合分布为：
$$p(t,\omega ,\alpha )=p(t|\omega )p(\omega |\alpha )p(\alpha )$$

变分分布

变分后验概率分布的分解表达式为：
$$q(\omega ,\alpha )=q(\omega )q(\alpha )$$
我们可以使用：

来找到这个分布中的因子的重新估计方程。对于每个因子，我们取所有变量上的联合概率分布的对数，然后关于不在这个因子中的变量求平均。首先考虑α上的概率分布。只保留与α有函数依赖关系的项，我们有
$$\begin{gathered} ln{q}^{\ast }(\alpha )=lnp(\alpha )+{\mathbb{E}}_{\omega }[lnp(\omega |\alpha )]+C \\ =({\alpha }_0-1)ln\alpha -b_0\alpha +\frac{M}{2}ln\alpha -\frac{\alpha }{2}\mathbb{E}[{\omega }^T\omega ]+C \end{gathered}$$
通过观察我们有
$$q^{\ast }(\alpha )=Gam(\alpha |a_0+\frac{M}{2},b_0+\frac{1}{2}\mathbb{E}[{\omega }^T\omega ])$$
我们也可以找到$\omega$上的后验概率分布的变分冲估计方程：
l n q ∗ ( ω ) = l n p ( t ∣ ω ) + E α [ l n p ( ω ∣ α ) ] + c = − β 2 ∑ n = 1 N { ω T ϕ n − t n } 2 − 1 2 E [ α ] ω T ω + C = − 1 2 ω T ( E [ α ] I + β Φ T Φ ) ω + β ω T Φ T t + C lnq^*(\omega)=lnp(t|\omega)+\Bbb E_\alpha[lnp(\omega|\alpha)]+c \\=-\frac\beta 2\sum_{n=1}^N\{ \omega^T\phi_n-t_n \}^2-\frac12\Bbb E[\alpha]\omega^T\omega+C \\=-\frac12\omega^T(\Bbb E[\alpha]I+\beta\Phi^T\Phi)\omega+\beta\omega^T\Phi^Tt+C lnq∗(ω)=lnp(t∣ω)+Eα​[lnp(ω∣α)]+c=−2β​n=1∑N​{ωTϕn​−tn​}2−21​E[α]ωTω+C=−21​ωT(E[α]I+βΦTΦ)ω+βωTΦTt+C
由于这是一个二次型，因此分布q∗(w)是一个高斯分布，因此我们可以使用一般的配平方的方法，得到均值和协方差，结果为

预测分布

给定一个新的输如x，使用参数的高斯变分后验概率很容易计算出t上的预测分布，即

这里，与输入相关的方差为：