PRML第十章读书笔记——Approximate Inference 泛函导数、平均场理论/α族散度/模型比较、变分高斯混合、变分线性回归、变分指数族/变分信息传播、局部变分、变分逻辑回归、期望传播

（长、生疏、难啃且重要的一章）

概率图里推断$p(\mathbf{Z}|\mathbf{X})$是一个重要的问题。但如果该分布复杂，则很难求，也很难在该后验分布下其他内容的期望，总之精确计算复杂的一批。所以需要近似技术。两种方法，（1）下一章介绍的随机近似stochastic approximations；（2）本章的确定近似deterministic approximations
本章的变分方法大致上分有三种

1. 变分贝叶斯，构造ELBO，用于高斯混合和贝叶斯线性回归
2. 局部变分，利用凸函数构造容易积分下界，可以和ELBO混用，用于贝叶斯逻辑回归
3. 期望传播，利用矩相等，近似后验分布，最小化$KL(p\Vert q)$

10.1 Variational Inference（也叫variational Bayes）

• 泛函functional：一个映射，以函数为输入，得到标量输出
• 泛函导数functional derivative：输入函数产生无穷小地改变时，泛函的值的变化情况
  和EM算法一样，分解边缘分布
  
  
  形式上和之前EM的区别是$\mathbf{\theta }$没了，因为参数是随机变量，被整合到$\mathbf{Z}$中。
  这里和EM不同的是，我们认为$p(\mathbf{Z}|\mathbf{X})$这一项不好计算，不能直接$q(\mathbf{Z})=p(\mathbf{Z}|\mathbf{X})$。从而，我们转向考虑把$q(\mathbf{Z})$限制到一族分布里（为了计算可处理），只要减小KL项，就能提升$\mathcal{L}(q)$。
  另外，注意这里没有过拟合的问题。
  一种限制分布族的方式是是从参数$\mathbf{\omega }$，得到$q(\mathbf{Z}|\mathbf{\omega })$，这样$\mathcal{L}(q)$就成了$\mathbf{\omega }$的函数，例如把$q$限制为高斯分布，优化均值和方差
• 个人感觉：和拉普拉斯近似相比，拉普拉斯近似是用高斯分布近似$p(\mathbf{Z}|\mathbf{X})$，依据最大概率值的二阶导，是确定性的方法。变分近似是最小化了$\text{KL}(q\Vert p)$
• 如果把$\mathbf{\theta }$也看作隐变量，记$q(\mathbf{z},\mathbf{\theta })=q_{\mathbf{z}}(\mathbf{z})q_{\mathbf{\theta }}(\mathbf{\theta })$，其中$q_{\mathbf{\theta }}(\mathbf{\theta })=\delta (\mathbf{\theta }-{\mathbf{\theta }}_0)$，${\mathbf{\theta }}_0$是自由参数的向量，则这个分解的变分交替优化等价于EM算法

P464 分解概率分布factorized distrubutions与平均场理论

另一种限制分布族$q(\mathbf{Z})$的方式是把$\mathbf{Z}$分成不相交的因子

变分推断这个形式对应物理学中的平均场理论mean field theory。可以轮流优化每一因子关于$\mathcal{L}(q)$。后面几小节就狂用这个平均场理论。考虑优化第$j$项，简记$q_j$为$q_j({\mathbf{Z}}_j)$

其中定义$\tilde{p}(\mathbf{X},{\mathbf{Z}}_j)$满足限制（这里加$\text{const}$可能是想把$\tilde{p}$配成一个归一化的概率分布，也就是说公式10.6倒数第二行的的第一项内部可以加常量，从而配成是一个合理的对数概率分布）

这里${\mathbb{E}}_{i\ne j}[\cdots ]$是在$q$分布的除${\mathbf{z}}_j$下的期望，也即

（这式子感觉写的很容易迷惑，右侧积分完剩下关于${\mathbf{Z}}_j$的项，这也即$\ln \tilde{p}(\mathbf{X},{\mathbf{Z}}_j$）的主导项）
注意10.6项最后一行是在最大化$q_j$和$\tilde{p}(\mathbf{X},{\mathbf{Z}}_j)$之间的负KL散度，所以当$q_j({\mathbf{Z}}_j)=\tilde{p}(\mathbf{X},{\mathbf{Z}}_j)$时取得最大值，所以

进一步

（EM算法中知道$q$最优为$p(\mathbf{Z}|\mathbf{X})$，可以和这里对比一下，不知道有没有啥联系）
上式给出了下界最大值所应满足的条件，但是没有显式解，因为右侧和其他不同于$j$项的$q_i$有关（在期望那里）。所以会在因子上迭代循环。该算法保证收敛，因为下界是关于$q_i$的凸函数

P466 应用于高斯分布

$p(\mathbf{z})=\mathcal{N}(\mathbf{z}|\mathbf{\mu },{\mathbf{\Lambda }}^{-1})$，其中$\mathbf{z}=(z_1,z_2)$
对应均值方差为

用$q(\mathbf{z})$去近似它，并且假设可以分解$q(\mathbf{z})=q_1(z_1)q_2(z_2)$，（我们把$q$限制在这个形式下，因为好处理。并不能说$p$不能分解所以$q$也不能这么假设，毕竟只是用$q$去近似）
根据平均场理论

得到$q^{\ast }$形式为高斯分布，注意我们并没有假设$q$是高斯分布。从而

其中

对称地，


这样两者可以轮流优化。
结果如图

这里，因为$q$的分解，自方差是可以优化的，但是协方差表达不出来，所以红圈一定是正的椭圆。变分推断的结果是左侧的. 右侧优化$KL(p\Vert q)$被用于另一种近似框架期望传播expectation propogation中，其中$q(\mathbf{Z})$仍然是因子分解的

用带拉格朗日乘子的变分法得（习题10.3）

这也即上图（b）的结果。
产生这两种原因在于KL中对数部分分子近0情况的急剧变大

P469 α族散度alpha family of divergences

其中$-\infty <\alpha <\infty$是一个连续变量

• $D_{\alpha }(p\Vert q)⩾0$
• $KL(p\Vert q),KL(q\Vert p)$都是α族散度的特例，$KL(p\Vert q)$对应$\alpha \to 1$，而$KL(q\Vert p)$对应$\alpha \to -1$，对任意$\alpha$
• 当$\alpha ⩽-1$时，$p(x)=0$会推出$q(x)=0$；$\alpha ⩾1$时，有另一个相反结论
• $\alpha =0$时得到对称散度，它与Hellinger距离线性相关，定义为
  $$D_H(p\Vert q)=\int {\left(p(x{)}^{1/2}-q(x{)}^{1/2}\right)}^{2}dx$$
  Hellinger距离的平方根是一个合法的距离度量

P470 例子：一元高斯分布

在给定数据集 D = { x 1 , ⋯   , x N } \mathcal D=\{x_1, \cdots, x_N\} D={x1​,⋯,xN​}，并假设服从高斯分布的条件下，推断后验分布$\mu$和精确度$\tau$

引入高斯-Gamma分布作为共轭先验

该问题可以求出精确解，为了教学目的，考虑分解变分近似

（注意，真实后验分布是不能分解的）。
对于$q_{\mu }$，可以得到

得到$q_{\mu }^{\ast }$是高斯分布，读出

当$N\to \infty$，${\mu }_N=\bar{x}$
另一方面，对于$q_{\tau }$，可以得到

得到$q_{\tau }^{\ast }(\tau )$是Gamma分布，服从$Gam(\tau |a_N,b_N)$，其中

当$N\to \infty$，$q_{\tau }$的均值为数据方差的最大似然估计倒数，方差趋于0（习题10.8）。
这里仍然要注意，并没有假定$q_{\mu },q_{\tau }$的形式
优化结果如图所示

如果先验不稳，那么可以设置无信息先验${\mu }_0=a_0=b_0={\lambda }_0=0$（这里$\lambda =0$使得$\mu$先验的方差极大）

P473 模型比较

假设有模型的分布$p(m)$，目标是近似后验$p(m|\mathbf{X})$，不同模型$m$会有不同的隐变量，很难直接拆成$q(\mathbf{Z})q(m)$，所以这里考虑$q(\mathbf{Z},m)=q(\mathbf{Z}|m)q(m)$
考虑分解

这里$\mathbf{Z}$可以是离散的求和，也可以是连续的积分。$m$只能是求和。关于$q(m)$最大化$\mathcal{L}$，结果为（习题10.11）

其中

这里的优化方法为优化一步$q(m)$，再第二步独立优化每一个$q(\mathbf{Z}|m)$，反复迭代
对$q(m)$进行归一化后，它可以用于模型选择或模型平均

10.2 Illustration: Variational Mixture of Gaussians

这个例子被作者安利了，要好好理解！这个例子展示出贝叶斯方法是如何优雅地解决最大似然方法中的许多困难之处。
高斯混合，观测是$\mathbf{X}$，隐变量是$\mathbf{Z}$


对参数$\mathbf{\mu },\mathbf{\Lambda },\mathbf{\pi }$采用共轭先验

根据对称性，对每个分量采用了同样的${\alpha }_0$. 均值方差也采用高斯-Gamma先验

根据对称性，采用${\mathbf{m}}_0=0$。有向图如图，注意$\mathbf{\mu }$受$\mathbf{\Lambda }$影响

• 像${\mathbf{z}}_n$这样反复出现在框内的作为隐变量，随数据集增大而增大；而像$\mu$这样在方框外的，与数据集规模无关，被当做是参数。但是从图模型的观点来看，没有本质区别

P475 变分分布

联合分布为

考虑如下的变分分布

这里同样地，我们没有假设$q$的分布形式（并忽略下标，以变量来区分不同分布）

进一步


其中

其中$D$是数据维度，两边取对数得到

考虑到${\sum }_k{z}_{nk}=1$，并且$z$是二值的，所以

其中

这和$p(\mathbf{Z}|\mathbf{\pi })$的形式一样，并且确实${\rho }_{nk}$恒为正。而且

定义三种统计量

上式像是EM里的E步。另一边

注意可以继续拆分

把各个先验分布打开，得到

$q^{\ast }(\mathbf{\pi })$是一个狄利克雷分布

其中

$q^{\ast }({\mathbf{\mu }}_k,{\mathbf{\Lambda }}_k)$是高斯-Wishart分布
其中

这个步骤像是EM里的M步
在10.46中，计算${\rho }_{nk}$时，需要用到

其中引入${\tilde{\Lambda }}_k,{\tilde{\pi }}_k$，$\psi (\cdot )$是Digamma函数，$\hat{\alpha }={\sum }_k{\alpha }_k$. 公式10.65和10.66是从Wishart和狄利克雷分布的性质中得到的（这我几乎都没算……看看就好）
如果带进去，可以得到

和EM相比，在EM中，由公式9.13

• 变分分布和联合分布10.41中对应的因子很像，这是个一般的结果，是由于选择了共轭先验造成的
• 高斯分布的贝叶斯混合变分解和最大似然的EM算法解很相似，都是两步迭代。当$N\to \infty$时，贝叶斯方法收敛于最大似然EM解。贝叶斯混合变分的优势在于（1）没有高斯混合的奇异性，因为引入先验；（2）可以确定分量的最优数量，不必借助交叉验证技术

优化如图所示，

注意这里初始化了6类，但是最后只剩2类了，这是由于设定了参数先验。Gamma分布中，当${\alpha }_0<1$时，先验就倾向于选择把某些类别概率置为0，如书上图2.5所示

P481 计算变分下界

这每一项都能算，翻书，我这就不写了。。

• 书上说算这个东西可以检测是否收敛，软件是否写对等……有没有其他用处我并不知道
• 另外，模型有共轭先验，变分后验分布的形式已知，通过使用这些分布的一般参数形式，可以推导出下界形式，并关于参数进行最大化

P482 预测概率密度

引入变分分布

上式有解析节（习题10.19，我没算），结果为混合t分布


当$N\to \infty$，上式规约为高斯混合

P483 决定分量数量

变分下界有个问题，高斯混合中参数后验是多峰的（根据不同组参数的对称性），这导致最小化$KL(q\Vert p)$倾向于优化到只有一个峰，而忽略其他峰。这在不同的K值进行比较时，会出问题，必须要考虑这种多峰性，一种简单的近似解法是在模型比较和平均时，在下界中增加$\ln K!$，其中$K$是分量数量
下界关于$K$如图所示

这图和上张图不一样（上张图初始化6个分布选了最后2个应该是算了参数后验$p(\theta |\mathcal{D})$的期望值。这张图是算$p(\mathcal{D}|K)$）
可以看到，这种模型证据能拿来选$K$

• 最大似然不能选K，最大似然$p(\mathcal{D}|\theta )$会关于K单调递增，不考虑奇异性。（这也很好理解，因为新增一个分量，肯定不会比原来差嘛）。贝叶斯解之所以不会出现这种情况，是因为参数有先验分布

上述方法需要推断多次。另一种方法为把$\mathbf{\pi }$看成是参数，没有先验分布，最大化下界进行点估计，由此得到

最大化过程会和其他参数上q的变分更新交错进行。对于解释数据集贡献小的分量最终会趋向于0. 这是一种自动相关性确定automatic relevance determination. 这样可以选择一个较大的K开始，然后一轮训练，将多个分量剪枝出去

P485 诱导分解induced factorizations

变分后验分布中假定的分解方式与真是联合概率分布的条件独立性质之间相互作用，把这些额外的分解方式叫做诱导分解。在平均场理论中，如果可以分开

那么

只要在给定$\mathbf{X},\mathbf{C}$的条件下，$\mathbf{A},\mathbf{B}$独立，那么就可以$q^{\ast }(\mathbf{A},\mathbf{B})=q^{\ast }(\mathbf{A})q^{\ast }(\mathbf{B})$

10.3 Variational Linear Regression

这里简化讨论，只考虑线性回归中的参数$\alpha$

引入共轭超先验



考虑$\alpha$上的概率分布，得到

看出这是Gamma分布


另一方面，考虑$\mathbf{w}$上的概率分布，得到

从中读出这是一个高斯分布


这里面的期望都能算出来，很好算

这里如果把${\alpha }_0,{\beta }_0$都带成0，那就是无信息先验，这样出来的结果和EM给出的公式9.63一样

P488 预测分布

其中

这和贝叶斯线性回归结果一样，除了${\mathbf{S}}_N$中的$\mathbb{E}[\alpha ]$的部分

P489 变分下界

这里面每个都能算，我就不算了。

10.4 Exponential Family Distributions

根据第二章，直接上指数族分布的一般形式

共轭先验

使用分解$q(\mathbf{Z},\mathbf{\eta })=q(\mathbf{Z})q(\mathbf{\eta })$，则变分分布为

得到分布

这里使用了 g ( η ) ∫ h ( x n , z n ) exp ⁡ { η T u ( x n , z n ) } d ( x n z n ) = 1 g(\bm \eta)\int h(\bm x_n, \bm z_n)\exp \{\bm \eta ^T \bm u(\bm x_n, \bm z_n)\}d(\bm x_n \bm z_n ) = 1 g(η)∫h(xn​,zn​)exp{ηTu(xn​,zn​)}d(xn​zn​)=1，另一半变分分布为

进一步得到

其中定义了

（习题10.28从一般形式推导了变分高斯混合）

这两步交替优化，计算$\mathbb{E}[\mathbf{u}({\mathbf{x}}_n,{\mathbf{z}}_n)]$，从而计算$q^{\ast }(\mathbf{\eta })$；计算$\mathbb{E}[{\mathbf{\eta }}^T]$，从而计算$q^{\ast }({\mathbf{z}}_n)$

P491 变分信息传播

对于有向图的联合概率

考虑变分近似

对于观测结点，是没有因子$q$的，这里只考虑隐变量

唯一依赖${\mathbf{x}}_j$的项是由$p({\mathbf{x}}_j|p{a}_j)$，其他项中有${\mathbf{x}}_j$作为条件的，这也即$j$结点的子结点。从而，$q^{\ast }({\mathbf{x}}_j)$依赖的所有结点为${\mathbf{x}}_j$的马尔可夫毯。这样就给出了一般的变分推断——利用表示图上的局部计算更新因子

• 如果所有的条件分布都有一个共轭-指数族结构，那么变分推断过程可以转化为局部信息传递算法（Winn and Bishop，2005）。对于一个结点，一旦收到了所有父结点和子结点的信息，那么这个结点相关联的概率就可以被更新。下界的计算也可以简化，因为许多必要的值已经作为信息传递框架的一部分计算完毕

10.5 Local Variational Methods 局部变分方法

寻找模型中的单独变量或者变量组上定义的函数的界限
考察凸函数$f(x)$，并在$x=\xi$这一点展开

恒有$y(x)⩽f(x)$。考虑$f(x)=\exp (-x)$

记$\lambda =-\exp (-\xi )$。（估计是令$\lambda =f^{\prime }(\xi )$），则


使用凸对偶convex duality的框架更详细地描述，定义对偶函数$g(\lambda )$，表示具有斜率$\lambda$的$f$的切线的截距负值


另一方面

$f(x)$和$g(\lambda )$是对偶的

对于上凸函数concave functions，有类似的讨论，把$\max$换成$\min$即可

如果感兴趣函数非凸，那么不能用上述方法得到上界，可以首先寻找函数或参数的可逆变换，这个变换将得到一个凸函数的形式。

P495 构造逻辑回归的变分下界

例如

非凸，但是取对数，则得到上凸函数

使用公式10.132

从而

如图所示

另一种处理sigmoid方法，能得到高斯形式的下界

可以验证，上式第二项是$x^2$的凸函数，得到共轭函数为

不动点满足

如果将$x$对应于$\lambda$的值记为$\xi$，则

把$g$视作$\xi$的函数，得到

所以界可以写成

进一步

图10.12(b)为该图像

• 这个界限在寻找通过logistic函数定义的后验概率分布的高斯形式时，很有用
• 这种下界没法直接推广到多类softmax。Gibbs（1997）提出了一种构造方法。

如何使用这种变分界？考虑积分

其中$p(a)$可能是一个高斯分布，对应参数的后验分布。这积不出来，所以，采用变分下界$\sigma (a)⩾f(a,\xi )$，其中$\xi$是变分参数。从而可以积分了

可以通过最大化$F(\xi )$，得到最紧的界。（书上后面还有一段话，大致意思是说：这个界不是很精确，虽然$\sigma (a)⩾f(a,\xi )$，但$\xi$的最优选择依赖于$a$，从而界限只对一个$a$是精确的。最优${\xi }^{\ast }$是一个折中，权重概率分布为$p(a)$）

10.6 Variational Logistic Regression

第四章用拉普拉斯近似处理这个问题，这里改用变分推断。仍然用高斯去作为后验近似，但是变分推断准确很多
我们仍然假定高斯先验

这里我们先把${\mathbf{m}}_0,{\mathbf{S}}_0$视为固定值，之后会视为变量
先给出边缘似然


其中$a={\mathbf{w}}^T\varphi$
引入变分下界得到

因为每一个似然函数都是独立的，所以每个变分参数${\xi }_n$对应一组训练集观测$({\varphi }_n,t_n)$，使用$a={\mathbf{w}}^T\varphi$，乘上先验，得到如下下界


取对数得到

右侧进一步

这是关于$\mathbf{w}$的二次函数，是$p(\mathbf{t},\mathbf{w})$的下界。如果想求后验$p(\mathbf{w}|\mathbf{t})$，则可以用上式读出其变分近似形式为为高斯分布，形式为


这里和拉普拉斯框架类似，仍然得到高斯形式，但是这里有可调参数$\xi$，更加灵活，从而使近似的精度更高

• 贝叶斯方法也可以适用于顺序学习的问题，例如每次只处理一个数据点，然后丢弃该数据点。得到顺序学习情况下的变分近似并不难

P500 最优化变分参数

有了这个估计的高斯后验，就可以对新数据进行预测。不过首先，需要通过最大化下界来估计变分参数${\xi }_n$

有两种优化策略，（1）可以采用EM进行优化，把$\mathbf{w}$视为隐变量
先采用EM，
这里是以后验分布$q(\mathbf{w};{\mathbf{\xi }}^{old})$计算的期望。因为$p(\mathbf{w})$无关于$\xi$，所以

（这里原本的期望只套在了$\mathbb{E}[\mathbf{w}{\mathbf{w}}^T]$上）
对${\xi }_n$求导得到

其中
$${\lambda }^{\prime }({\xi }_n)=\frac{1}{2{\xi }_n^2}\left[\sigma ({\xi }_n)-\frac{1}{2}-{\xi }_n\sigma ({\xi }_n)\sigma (-{\xi }_n)\right]$$
这是一个奇函数，且单增（真的吗）。从而只需分析式10.162大于0的部分，得到

总结该方法

• E步：用式10.156求$q(\mathbf{w})$ （这里$q$是变分出来的，不是对$KL(q\Vert p)$的最小化，所以E步一定会让ELBO上升吗，我觉得存疑）
• M步：更新$\xi$

（2）第二种策略为直接对式10.159右侧$\mathbf{w}$用配平方法积分，优化$\xi$。会得到和EM相同的结果

• 该方法可以用于序列数据更新

通过对后验分布积分，可以得到预测分布，形式与第四章拉普拉斯近似近似的形式相同。而且贝叶斯解和SVM的Large margin也有相似性

P502 超参数推断

前一节将$\alpha$视为常量，这里将$\alpha$也进行推断。这里要综合运用全局变分和局部变分
考虑一个各向同性的高斯分布

（容易推广到各项不同上）

边缘似然为

联合分布为

开始变分


采用式10.152，得到

注意这个两层的不等式
接着假定

利用平均场理论


得到$q(\mathbf{w})$是高斯分布


另一边


得到$q(\alpha )$是Gamma分布


其中$\xi$也要优化，只保留和$\xi$有关项

利用式10.160和10.163的结果

从而这三个量$q(\mathbf{w}),q(\alpha ),({\xi }_n^{new}{)}^2$迭代更新，其中需要的期望为

（这里的后验结果$q(\mathbf{w})$和上一节固定$\alpha$不一样，可能是由于这里$q(\mathbf{w})$是用平均场理论求得，上一节则是直接解析出来的）

10.7 Expectation Propagation

期望传播是另一种形式的确定性近似推断，该方法和变分贝叶斯相反，最小化$KL(p\Vert q)$，其中$p(\mathbf{z})$固定，而$q(\mathbf{z})$是指数族分布

把和参数$\mathbf{\eta }$有关的项拿出来，得到

求导得到极值满足

而根据式2.226（指数族分布的概率密度积分为1，两侧求导得到$-\nabla \ln g(\mathbf{\eta })$的替换）

所以，最优解仅是对于充分统计量的期望进行匹配。
（这里我理解书中的意思是，把$\mathbf{u}$近似看作是泰勒展开，上式要相等，需要一阶矩相等，二阶矩相等……知乎上也有说让变分分布的矩和后验相等才是真正的motivation，具体KL放左边放右边只是推导出来的结果）
如果$q$是高斯分布，通过令$q(\mathbf{z})$的均值$\mathbf{\mu }$等于$p(\mathbf{z})$的均值，并令协方差也相等，可以最小化$KL$散度，这也称之为矩匹配moment matching
对许多概率模型，联合概率分布的形式为

尤其是其中$f$的组成为$f_n(\mathbf{\theta })=p({\mathbf{x}}_n|\mathbf{\theta })$，$f_0(\mathbf{\theta })=p(\mathbf{\theta })$对应先验。目标仍然是估计后验

分母是模型证据，为

这里假定$\mathbf{\theta }$的边缘分布和后验分布的边缘分布都是无法计算的，需要某种形式的近似

其中每一个${\tilde{f}}_i(\mathbf{\theta })$对应一个$f_i(\mathbf{\theta })$，并为了好处理，假定每一个因子是指数族分布，可被充分统计量的有限集合来描述（这里并不一定${\tilde{f}}_i\approx f_i$，而是${\tilde{f}}_i/Z\approx f_i/p(\mathcal{D})$）。乘积仍然是指数族分布。例如${\tilde{f}}_i$是高斯，则$q$也是高斯。理想情况下，要最小化

但是左侧$p$给不出来，所以只能近似求$f_i(\mathbf{\theta })$和${\tilde{f}}_i(\mathbf{\theta })$之间的KL散度，但这样估计的结果很差。期望传播算法采用了一种更好的估计，对每个因子交替优化，类似变分贝叶斯的因子更新过程（平均场）。假定要优化${\tilde{f}}_j$，要让

尽可能接近

为了实现，先从后验分布的近似中移走${\tilde{f}}_j$

得到新概率分布（注意这里$f_j$是真实的，不一定是指数族分布）

其中

重新修正${\tilde{f}}_j$，来最小化

使用式10.187，通过匹配期望充分统计量，来优化$q^{new}(\mathbf{\theta })$

在有了$q^{new}(\mathbf{\theta })$之后，就可以计算${\tilde{f}}_j(\mathbf{\theta })$

其中

匹配零阶矩得到（这为啥能匹配啊？）

书上有一个算法流程，这里就不贴了。

• 一种特殊的EP被称之为assumed densiy filtering(ADF)或矩匹配moment matching。该方法对在线学习很适用
• 期望传播的一个缺点是不一定保证迭代收敛；每轮EP也不保证减小势函数的值
• EP优化$KL(p\Vert q)$，所以对于多峰$p$，结果很差，尤其是混合概率分布。相反，在逻辑回归等模型中，EP通常比局部变分和拉普拉斯近似要好

P511 例子：聚类问题

考虑如下的高斯混合，其中$\mathbf{\theta }$是待推断的参数

其中先验为

其中$a=10,b=100,w=0.5$已知，对于一维数据，如图

联合分布为

这里有$2^N$个高斯分布，所以不好解。使用EP，令$f_0(\mathbf{\theta })=p(\mathbf{\theta }),f_n(\mathbf{\theta })=p({\mathbf{x}}_n|\mathbf{\theta })$
假设后验为球型高斯

其中每个factor设置为如下形式

这里$\mathcal{N}(\mathbf{\theta }|\cdot ,\cdot )$右侧不是良好定义，方差参数$v_n$可以为负。这里$q(\mathbf{\theta })$仅仅是一个高斯的形式，并不是真正的高斯分布。${\tilde{f}}_n(\mathbf{\theta })$可以被初始化成单位高斯，对应$s_n=(2\pi v_n{)}^{D/2}$，$v_n\to \infty$，${\mathbf{m}}_n=0$.
利用

得到$q^{\setminus n}(\mathbf{\theta })$的均值和方差逆

利用

得到归一化系数（从这里开始我放弃推导）

利用10.198，最小化KL，得到$q^{new}(\mathbf{\theta })$的均值和方差的估计

其中质量为

接着利用

得到${\tilde{f}}_n(\mathbf{\theta })$的参数为

上述过程一直迭代
最后，用下式估计模型证据

得到

其中

几种方法的比较如图

P513 图的期望传播

目前讨论的$f_i(\mathbf{\theta })$都是所有$\mathbf{\theta }$的函数，现在考虑$\tilde{f}(\mathbf{\theta })$只依赖于变量子集。这里用因子图表示。如果最小化$KL(p\Vert q)$，那么对于每个因子，最优解为$p$对应的边缘分布
考虑如下左侧图


从而设计近似

现在假定可以作如下拆分

对应因子图如上图右侧。假定每个因子都已经初始化完成了，并且要微调因子${\tilde{f}}_b(x_2,x_3)={\tilde{f}}_{b2}(x_2){\tilde{f}}_{b3}(x_3)$. 首先从近似分布中消除因子

引入真实因子

接着要最小化$KL(\hat{p}\Vert q^{new})$，因为因子化，所以$q^{new}$中这四部分分别对应

为了获得改进后的${\tilde{f}}_b(x_2,x_3)={\tilde{f}}_{b2}(x_2){\tilde{f}}_{b3}(x_3)$，用$\frac{q^{new}(\mathbf{x})}{q^{\setminus b}(\mathbf{x})}$，得到

• 上式这个形式，与信念传播得到的信息完全相同，从变量结点到因子结点的信息被整合到从因子结点到变量结点的信息中。其中${\tilde{f}}_{b2}(x_2)$对应${\mu }_{f_b\to x_2}(x_2)$，类比式8.81；类似地，${\tilde{f}}_{a2}(x_2)$对应${\mu }_{f_a\to x_2}(x_2)$
• 这个结果与标准的信念传播稍有不同，这里的传播方向是双向的。不过可以修改为标准的信念传播方式，每次只修改一个因子，并选择我们希望的顺序进行优化。
  • 对于树模型，可以采用two-pass的更新顺序，这样就对应了标准信念传播。这样会产生对变量和因子的边缘分布的精确推断，近似因子的初始化不重要了

最后考虑一般的因子图，

用完全因子化的形式近似它

如果要更新因子${\tilde{f}}_{jl}({\theta }_l)$，首先去掉${\tilde{f}}_j({\mathbf{\theta }}_j)$

然后乘上$f_j({\mathbf{\theta }}_j)$

用它来优化$q^{new}$，再用$\frac{q^{new}(\mathbf{x})}{q^{\setminus j}(\mathbf{x})}$，得到

这一波挺复杂的，不过可以用式10.235去验证一下。这是和积算法的形式，其中${\tilde{f}}_{jm}({\theta }_m)$对应${\mu }_{f_j\to {\theta }_m}({\theta }_m)$，而关于$k$的乘积对应于和因子${\mathbf{\theta }}_j$有关的所有其他变量${\theta }_m$——有关的因子（可以和式8.66、8.69结合起来看）

• 如果使用完全分解的概率分布，那么和积算法就是期望传播的一个特例。另一种推广是将因子$f_i({\mathbf{\theta }}_i)$分成若干组，在一次迭代中，优化组内所有因子
• 变分信息传递和期望传播都优化了KL散度，Minka(2005)指出，一大类信息传递方法可以从最小化alpha族散度（式10.19）给出。例如变分信息传递variational message passing、循环信念传播loopy belief propagation、期望传播、tree-reweighted message passing、fractional belief propagation、power EP……

参考文献：
[1] Christopher M. Bishop. Pattern Recognition and Machine Learning. 2006