阅读笔记——变分推断（二）_变分推断 prml-CSDN博客

本文链接：https://blog.csdn.net/lijingru1/article/details/84960103

阅读笔记

PRML第十章——变分推断(二)
- 因子近似的特性

PRML第十章——变分推断(二)

上一篇博客提到了在变分推断中，常用的优化方法是通过将需要近似的目标分布 $q(\mathbf Z)$ 中的隐变量 $\mathbf Z$ 分解为多个因子，并最大化下界 $\mathcal L(q)$ 得到的。

因子近似的特性

考虑对高斯分布 $\mathbf { z } ) = \mathcal { N } ( \mathbf { z } | \boldsymbol { \mu } , \mathbf { \Lambda } ^ { - 1 } )$ ，并且两个相关性因子 $\mathbf { z } = \left( z _ { 1 } , z _ { 2 } \right)$ ，其中均值与方差分别为：
$\boldsymbol { \mu } = \left( \begin{array} { c } { \mu _ { 1 } } \\ { \mu _ { 2 } } \end{array} \right) , \quad \boldsymbol { \Lambda } = \left( \begin{array} { c c } { \Lambda _ { 11 } } & { \Lambda _ { 12 } } \\ { \Lambda _ { 21 } } & { \Lambda _ { 22 } } \end{array} \right)$
并且因式 $q(\mathbf Z) = q_1(\mathbf Z_1)q_2(\mathbf Z_2)$ 。首先考虑公式(10.9)的优化方法，得到：
$\begin{aligned} \ln q _ { 1 } ^ { \star } \left( z _ { 1 } \right) & = \mathbb { E } _ { z _ { 2 } } [ \ln p ( \mathbf { z } ) ] + \text { const } \\ & = \mathbb { E } _ { z _ { 2 } } \left[ - \frac { 1 } { 2 } \left( z _ { 1 } - \mu _ { 1 } \right) ^ { 2 } \Lambda _ { 11 } - \left( z _ { 1 } - \mu _ { 1 } \right) \Lambda _ { 12 } \left( z _ { 2 } - \mu _ { 2 } \right) \right] + \text { const } \\ & = - \frac { 1 } { 2 } z _ { 1 } ^ { 2 } \Lambda _ { 11 } + z _ { 1 } \mu _ { 1 } \Lambda _ { 11 } - z _ { 1 } \Lambda _ { 12 } \left( \mathbb { E } \left[ z _ { 2 } \right] - \mu _ { 2 } \right) + \text { const. } \end{aligned}$
由于公式右侧为 $z_1$ 的二次函数，因此我们假设 $q_1^*(z_1)$ 是服从高斯分布 $_1^ { \star } \left( z _ { 1 } \right) = \mathcal { N } \left( z _ { 1 } | m _ { 1 } , \Lambda _ { 11 } ^ { - 1 } \right)$ 的，那么：
$\mu _ { 1 } - \Lambda _ { 11 } ^ { - 1 } \Lambda _ { 12 } \left( \mathbb { E } \left[ z _ { 2 } \right] - \mu _ { 2 } \right)$
那么，根据对称性， $q_2^*(z_2)$ 也是高斯的，也就是：
$\star } \left( z _ { 2 } \right) = \mathcal { N } \left( z _ { 2 } | m _ { 2 } , \Lambda _ { 22 } ^ { - 1 } \right)$
$\mu _ { 2 } - \Lambda _ { 22 } ^ { - 1 } \Lambda _ { 21 } \left( \mathbb { E } \left[ z _ { 1 } \right] - \mu _ { 1 } \right)$
举一个具体的例子，假设在图10.2中，绿色的contour表示的是原分布 $p(\mathbf Z)$ ，红色contour表示的是近似的分布 $q(\mathbf Z)$ 。在图10.2(a)中，二者的均值相互重叠， $q(\mathbf Z)$ 方差由 $p(\mathbf Z)$ 的最小方差方向确定的。
在优化KL散度的过程中，我们选择了一种近似变分的框架，叫Expectation Propagation(EP)。p和q之间的KL散度的公式为：
$\mathrm { KL } ( p \| q ) = - \int p ( \mathbf { Z } ) \left[ \sum _ { i = 1 } ^ { M } \ln q _ { i } \left( \mathbf { Z } _ { i } \right) \right] \mathrm { d } \mathbf { Z } + \text{const.}$
其中的常数项为 $p(\mathbf Z)$ 的熵值。

对于上式一种优化方式是，我们可以优化 $q(\mathbf Z)$ 的每个因子 $q_j(\mathbf Z_j)$ 。通过Lagrange乘子法，可以得到：
$\star } \left( \mathbf { Z } _ { j } \right) = \int p ( \mathbf { Z } ) \prod _ { i \neq j } \mathrm { d } \mathbf { Z } _ { i } = p \left( \mathbf { Z } _ { j } \right)$
从中可以看到，每个因子的最优分布是相关的因子的边缘概率分布 $p(\mathbf Z_j)$ 。
如果是优化q和p之间的KL散度，也就是：
$\mathrm { KL } ( q \| p ) = - \int q ( \mathbf { Z } ) \ln \left\{ \frac { p ( \mathbf { Z } ) } { q ( \mathbf { Z } ) } \right\} \mathrm { d } \mathbf { Z }$
那么最终得到的分布则是如图10.2（b）所示。
最小化这种形式的KL散度，使得近似的分布 $q(\mathbf Z)$ 避免了 $p(\mathbf Z)$ 比较小的情况。
而在实际的分布中，我们通常使用EP，也就是优化 $K L (p ∣ ∣ q)$ ，而不是 $K L (q ∣ ∣ p)$ 。真实的后验分布通常是多模态的，通常大多数后验分布都会集中于一个比较小的区域。这些多模态特性可能导致参数的复杂非线性依赖，而使用单高斯分布进行近似可能导致很差的拟合效果。具体见图10.3（a）。

而如若优化 $K L (p ∣ ∣ q)$ ，则可以逐一优化每个模态的分布，如图10.3(b)©所示。而这种思想也是后面会讲到的Expectation Propagation 思想。

以上讨论的两种KL散度都是属于alpha 族的散度族，其具体形式为：
$\mathrm { D } _ { \alpha } ( p \| q ) = \frac { 4 } { 1 - \alpha ^ { 2 } } \left( 1 - \int p ( x ) ^ { ( 1 + \alpha ) / 2 } q ( x ) ^ { ( 1 - \alpha ) / 2 } \mathrm { d } x \right)$
而当 $\alpha = 0$ 时，则是Hellinger distance：
$\mathrm { D } _ { \mathrm { H } } ( p \| q ) = \int \left( p ( x ) ^ { 1 / 2 } - q ( x ) ^ { 1 / 2 } \right) \mathrm { d } x$