19-概率图模型

1.概率图前言

概率图模型可以从两个角度思考：

• 概率：
  机器学习的任务就是从一堆已有数据中学习，并对新的数据进行预测分析
• 图：
  图只是一种工具，用来形象的表达概率模型，就是把数据结构的图赋予概率的模型，把概率的概念嵌入进去；图起到的作用是更加直观的表达相关的模型，并把概率模型的特征用图的形式更加明显的表达出来。以便后面构造更加高级的模型；

2.概率图模型的基本法则

概率图关注的是高维随机变量，所以 我们假设有一组高维随机变量,其概率密度函数为$p(x_1,x_2,...,x_p)$,我们可以求其边缘概率$p(x_i)$和条件概率$p(x_j|x_i)$

2.1 加法法则(Sum-Rule)

$$p(x_1)=\int p(x_1,x_2)d{x}_2\text{\hspace{1em}(1)}$$

2.2 乘法法则(Product-Rule)

$$p(x_1,x_2)=p(x_1)p(x_2|x_1)=p(x_2)p(x_1|x_2)\text{\hspace{1em}(2)}$$

2.3 链式法则(Chain-Rule)

$$p(x_1,x_2,...,x_p)=\prod _{i=1}^{p}p(x_i|x_1,x_2,...,x_{i-1})\text{\hspace{1em}(3)}$$

2.4 贝叶斯法则(Bayesian-Rule)

$$p(x_2|x_1)=\frac{p(x_1,x_2)}{p(x_1)}=\frac{p(x_1,x_2)}{\int p(x_1,x_2)d{x}_2}=\frac{p(x_2|x_1)p(x_1)}{\int p(x_2|x_1)p(x_1)d{x}_2}\text{\hspace{1em}(4)}$$

3.高维随机变量困境

高维随机变量困境是当我们模型的用的高维度的变量时就存在$p(x_1,x_2,...,x_p)$计算复杂，计算量大的问题。为解决上述问题，需要简化模型；我们措施如下：

• 变量相互独立【缺点：假设太强】(朴素贝叶斯假设)
  $$p(x_1,x_2,...,x_p)=\prod _{i=1}^{p}p(x_i)\text{\hspace{1em}(5)}$$
  注：朴素贝叶斯：$P(X|Y)={\prod }_{i=1}^{p}p(x_i|y)$

• 马尔科夫性质【优点：弱独立性，还是过强】：
  在给定条件$x_i$下，将来$x_{i+1}$和$x_j$过去是相互独立的。
  $$x_j\perp x_{i+1}|x_i；j<i\text{\hspace{1em}(6)}$$
  注：
  1）HMM（齐次马尔科夫假设）
  2） 观测独立性假设

• 条件独立性假设
  $X_A,X_B,X_C是集合，且不相交；在给定集合X_C的情况下，X_A独立于X_B$
  $$X_A\perp X_B|X_C;\text{\hspace{1em}(7)}$$

4.概率图模型框架

5.贝叶斯网络-图单元结构

概率图就是把原来图赋予概率的意义，并且赋予概率模型的概念。概率模型关心的中心问题是多维的随机变量和联合概率分布：
常见的链式法则如下：
$$p(x_1,x_2,...,x_p)=p(x_i)\prod _{i=2}^{p}p(x_i|x_{1:i-1})\text{\hspace{1em}(8)}$$
上述计算在维度比较高的时候就出现了无法计算的线性，为了解决上述问题我们提出了条件独立性假设：
$$X_A\perp X_C|X_B;\text{\hspace{1em}(9)}$$
我们将联合概率密度通过因式分解为：
$$p(x_1,x_2,...,x_p)=\prod _{i=2}^{p}p(x_i|x_{pa(i)})\text{\hspace{1em}(10)}$$

• $注：x_{pa(i)}是x_i的父亲集合$

5.1有向图的三种结构

对于一个给定的有向图，我们的想法是如何通过图形进行直观地表达概率模型，在实际中，我们用拓扑排序的方式将$p(x_1,x_2,...,x_p)$转换成概率图；

我们定义有向图的方向如下：

5.2 Tail To Tail 尾对尾结构

由于节点b和节点c在节点a的尾部，所以下图为Tail To Tail 结构；

结论：
$$c\perp b|a⟺若a被观测，则路径被阻塞\text{\hspace{1em}(11)}$$
证：

$\because 我们得到上述图，可以直接根据图得到如下公式：$

$\therefore 由因子分解：联合概率可得:$
$$p(a,b,c)=p(a)p(b|a)p(c|a)\text{\hspace{1em}(12)}$$
$\because 我们可以由链式法则可以得到：$
$$p(a,b,c)=p(a)p(b|a)p(c|a,b)\text{\hspace{1em}(13)}$$
将式<12>和<13>联合可得：
$$p(c|a)=p(c|a,b)\text{\hspace{1em}(14)}$$
等式两边同乘$p(b|a),可得：$
$$p(c|a)p(b|a)=p(c|a,b)p(b|a)\text{\hspace{1em}(15)}$$
$$p(c|a,b)p(b|a)=p(b,c|a)\text{\hspace{1em}(16)}$$

$$\therefore p(c|a)p(b|a)=p(b,c|a)\text{\hspace{1em}(17)}$$
$$\therefore c\perp b|a$$
注：图的表达更直观，更方便表达条件独立性；在a的条件下，b和c是独立的；

5.3 Tail To Tail 头对尾结构

相对于b来说，这个结构是head to tail 结构；$a\perp c|b$；若b被观测，则路径被阻塞(独立)。

5.4 Head To Head 头对头结构[特殊]

默认情况下，a独立于b，即路径是阻塞的；若c被观测，则路径是相通的；若d被观测，则路径是相通的；

详证：

$由上图可得因子分解：$
$$p(a,b,c)=p(a)p(b)p(c|a,b)\text{\hspace{1em}(18)}$$
$由链式法则可得：$
$$p(a,b,c)=p(a)p(b|a)p(c|a,b)\text{\hspace{1em}(19)}$$
结合<18>和<19>可得如下：
$$p(b)=p(b|a)\text{\hspace{1em}(20)}$$
即：在默认的情况下，a⊥b，即a独立于b

记忆技巧：可以把上述三个结构想象成亲戚关系：只是为了方便记忆，无逻辑；

1）如果父亲a还在，那么两个儿子b,c关系还在；如果父亲a出事，那么两个b,c儿子就相互独立；

2)如果父亲b还在，那么爷爷a和孙子c关系还在；如果父亲b出事，那么爷爷a和孙子c就相互独立；

3）本来爸爸a和妈妈b在没有小孩c或孙子d的时候是相互独立了；当存在小孩c或孙子d时，爸爸a和妈妈b就是夫妻关系；

6. 贝叶斯网络-D-Separation（D划分）

判断集合$X_A,X_B,X_C$是否满足条件独立性假设的方法就叫做D-Separation；我们定义集合$X_A,X_B,X_C$是相互独立的，且$a\in X_A;b\in X_B;c\in X_C;$，那么我们就要判断节点a和节点c是否满足条件性假设？

6.1 head to tail 结构

如果结构满足head to tail 结构，那么中间节点b必须要在可观测集合$X_B$内，那么a和c才相互独立。

6.2 tail to tail 结构

如果结构满足tail to tail 结构，那么中间节点b必须要在可观测集合$X_B$内，那么a和c才相互独立。

6.3 head to head 结构[特殊]

在一般情况下a独立于c,当节点b和节点d不在集合$X_B$时，那么a和c就独立了(阻塞)；当节点b和节点d在集合$X_B$时，那么a和c就连通了，a和c没有独立性了。

综上所述：

只有满足下面的D-Seperation形式才能满足条件独立性假设，$X_A\perp X_C|X_B$;这个规则也叫全局马尔科夫性质((Global Markov Property)

6.4 马尔科夫毯(Markov Blanket)

我们定义$x_{-i}$为除了$x_i$以外的集合：
x − i = { x 1 , x 2 , . . . , x i − 1 , x i + 1 , . . , x N } (21) x_{-i}=\{x_1,x_2,...,x_{i-1},x_{i+1},..,x_N\}\tag{21} x−i​={x1​,x2​,...,xi−1​,xi+1​,..,xN​}(21)
我们假设除了$x_i$以外，其他节点都是可观测的。那么我们可以计算概率$p(x_i|x_{-i})$
$$p(x_i|x_{-i})=\frac{p(x_i,x_{-i})}{p(x_{-i})}=\frac{p(x)}{{\int }_{x_i}p(x)d{x}_i}=\frac{{\prod }_{j=1}^{p}p(x_j|x_{pa(j)})}{{\int }_{x_j}{\prod }_{j=1}^{p}p(x_j|x_{pa(j)})d{x}_i}$$
为了简化上述等式，我们可以将${\prod }_{j=1}^{p}p(x_j|x_{pa(j)})$分成两个部分，将和xi 相关的部分记为$\overline{\Delta }$，和xi 不相关的部分
记为Δ。那$p(x_i|x_{-i})$可改写成如下：
$$p(x_i|x_{-i})=\frac{△\cdot \overline{\Delta }}{{\int }_{x_i}△\cdot \overline{\Delta }d{x}_i}=\frac{△\cdot \overline{\Delta }}{△\cdot {\int }_{x_i}\overline{\Delta }d{x}_i}=\frac{\overline{\Delta }}{{\int }_{x_i}\overline{\Delta }d{x}_i}\text{\hspace{1em}(22)}$$
$结论：点x_i与其他节点x_{-i}的关系最终可以化为只和x_i相关的关系。$

$马尔科夫毯：即：一个人与全世界的关系等于他和他家庭成员的关系,与其他人无关。$

7.贝叶斯网络-整体框架

贝叶斯网络结构图：

• 从单一到混合：空间/时间-离散->连续
• 从有限到无限：空间/时间-离散->连续

8. 马尔科夫网络(Markov Network)

我们在介绍有向图贝叶斯网络过程中，介绍了贝叶斯网络的条件独立性。又学到了D划分，通过D划分我们可以很直观的判断集合$X_A,X_B,X_C之间的条件独立性性质(X_A\perp X_B|XC)，$知道了因子分解和条件独立性是等价的。

$$p(x)=\prod _{i=1}^{N}p(x_i|x_{pa(i)})\text{\hspace{1em}(23)}$$
马尔科夫网络是一个无向图模型，它比有向图简单，因为有向图在结构head to head 中默认情况下，两个节点是相互独立的，但在中间节点被观察后，两个节点又相互连通了。但是无向图中是不存在上述问题的。马尔科夫网络根据条件独立性大致可分为三类：

• 全局马尔科夫网络(Global-Markov)
• 局部马尔科夫网络(Local-Markov)
• 成对马尔科夫网络(Pair-Markov)

8.1 全局马尔科夫网络(Global-Markov)

假设我们由三个集合$X_A,X_B,X_C，那么如何表达这三个集合的条件独立性呢X_A\perp X_C|X_B？$
$$a\perp c|b;a\in X_A,b\in X_B,c\in X_C\text{\hspace{1em}(24)}$$
$$结论：a到c的路径中至少有一个节点c在X_C中，a\perp c|b$$
图一(正确)：

图二(错误)：

8.2 局部马尔科夫网络(Local-Markov)

定义：节点a在给定它邻居(节点b,节点c,节点d)的条件下,节点a独立于除邻居点以外的所有点。
a ⊥ { 全 集 − a − a 的 邻 居 } ∣ 邻 居 (25) a⊥\{全集-a-a的邻居\}|邻居\tag{25} a⊥{全集−a−a的邻居}∣邻居(25)
a ⊥ { e , f } ∣ { b , c , d } (26) a⊥\{e,f\}|\{b,c,d\}\tag{26} a⊥{e,f}∣{b,c,d}(26)

8.3 成对马尔科夫网络(Pair-Markov)

在 给 定 条 件 集 合 { X − x i − x j } 的 情 况 下 ， x i 独 立 于 x j 在给定条件集合\{X-x_i-x_j\}的情况下，x_i独立于x_j 在给定条件集合{X−xi​−xj​}的情况下，xi​独立于xj​
x i ⊥ x j ∣ { 全 集 x − x i − x j } x_i⊥x_j|\{全集x-x_i-x_j\} xi​⊥xj​∣{全集x−xi​−xj​}
$$x_i\perp x_j|x_{-i-j};x_i\ne x_j\text{\hspace{1em}(27)}$$
结论：

条件独立性体现在三个方面：

• ① 全局马尔科夫网络(Global-Markov)
• ② 局部马尔科夫网络(Local-Markov)
• ③ 成对马尔科夫网络(Pair-Markov)

且上述三个方面是相互等价：$①⟺②⟺③$

9.马尔科夫网络的因子分解

9.1 团的定义

我们知道因子分解一定要体现条件独立性的含义，条件独立性和因子分解原则上应该等价。对于一个普通的图时

• 团
  团是一个关于节点的集合，集合中的节点是相互连通的
• 最大团
  最大团是在一个团里面没办法添加任何节点，如果添加，那么久不满足最大连通集合。

所以我们把无向图的因子分解是定义在团的结构上的，假设我们有如下团:$c_1,c_2,..,c_k$,所以联合概率密度可表示为：
$$p(x)=\frac{1}{Z}\prod _{i=1}^k\varphi (X_{ci})\text{\hspace{1em}(28)}$$

• Z：归一化因子

  $Z={\sum }_{x_1}\cdots {\sum }_{x_p}{\prod }_{i=1}^k\varphi (X_{ci})$

• $\varphi (X_{ci})$:定义在团上的函数

我们现在要证明的是在基于团定义的式子(28)，如何求证三个条件独立性假设(全局,局部马尔科夫, 成对)等价；即：如何通过团的因子分解来推导条件独立性假设。

hammesley-clifford定理：

团 因 子 分 解 ⟺ { 全 局 , 局 部 , 成 对 马 尔 科 夫 网 络 } 团因子分解\Longleftrightarrow\{全局,局部, 成对马尔科夫网络\} 团因子分解⟺{全局,局部,成对马尔科夫网络}

9.2 Hammesley-clifford定理

联合概率密度p(x)定义详解：
$$p(x)=\frac{1}{Z}\prod _{i=1}^k\varphi (X_{ci})\text{\hspace{1em}(29)}$$

• $C_i:$最大团
• $X_{ci}:$最大团随机变量集合
• $\varphi (x_{ci}):$势函数，必须为正
• Z : 归一化因子
  $Z={\sum }_x{\prod }_{i=1}^k\varphi (X_{ci})={\sum }_{x_1}\cdots {\sum }_{x_p}{\prod }_{i=1}^k\varphi (X_{ci})$

注：
$\varphi (x_{ci})的$ 概念都是来自于统计物理学和热力学的过程中的定义，为保证其为正数，可以定义其为指数函数。

ϕ ( x c i ) = e x p { − E ( X c i ) } (30) \phi(x_{ci})=exp\{-E(X_{ci})\}\tag{30} ϕ(xci​)=exp{−E(Xci​)}(30)

• $E(X_{ci}):$能量函数[Energy-Function]

如果用上述等式<29>表示概率密度p(x),则概率分布p称为吉布斯分布(Gibbs Distribution)或玻尔兹曼分布(Boltzman
Distribution)

结合公式<29>和<30>可得如下：

$p(x)=\frac{1}{Z}{\prod }_{i=1}^k\varphi (X_{ci})$

p ( x ) = 1 Z ∏ i = 1 k e x p { − E ( X c i ) } p(x)=\frac{1}{Z}\prod_{i=1}^{k}exp\{-E(X_{ci})\} p(x)=Z1​∏i=1k​exp{−E(Xci​)}

p ( x ) = 1 Z e x p { − ∑ i = 1 k E ( X c i ) } (31) p(x)=\frac{1}{Z}exp\{-\sum_{i=1}^{k}E(X_{ci})\}\tag{31} p(x)=Z1​exp{−i=1∑k​E(Xci​)}(31)

指数族分布概率密度函数q(x):
q ( x ) = h ( x ) e x p { η T ϕ ( x ) − A ( η ) } = 1 Z ( η ) h ( x ) e x p { η T ϕ ( x ) } (32) q(x)=h(x)exp\{\eta^T\phi(x)-A(\eta)\}=\frac{1}{Z(\eta)}h(x)exp\{\eta^T\phi(x)\}\tag{32} q(x)=h(x)exp{ηTϕ(x)−A(η)}=Z(η)1​h(x)exp{ηTϕ(x)}(32)
上述p(x)简直跟我们之前的指数族分布q(x)一模一样！所以我们看出所谓的吉布斯分布(Gibbs Distribution)其实就是一个指数族分布，吉布斯分布其实也可以看作是从在满足已知事实情况下的最大熵原理来的，没啥吓人的。

结论：
$$马尔科夫随机场(Markov-Random-Filed)⟺吉布斯分布(Gibbs-Distribution)$$

10.概率图-推断(Inference)

10.1 推断(Inference)-框架

对于机器学习中，重要的是推断，即求事件发生的概率。已知联合概率$p(x)=p(x_1,x_2,...,x_p)$,主要包括边缘概率，条件概率.

• 边缘概率:：$p(x_i)={\sum }_{x_1}...{\sum }_{x_{i-1}}{\sum }_{x_{i+1}}...{\sum }_{x_p}p(x)$
• 条件概率：$p(X_A|X_B),X=X_A\cup X_B$
• MAP Inference: $\hat{Z}=argma{x}_{z}p(z|x)\propto argmaxp(z,x)$，来自于贝叶斯公式：$p(z|x)=\frac{p(z,x)}{p(x)}$
  

注解：

• 变量消除法(variable_elimanation)：
  是一种精确推断的思想，基于VE算法的缺点，衍生出信念传播(BP：Belief_Propagation)算法,BP算法也有另外一个名字叫加和乘积算法(Sum_Product_algorithm),它是来自于VE算法,是对VE算法的一种改写，Sum_Product_algorithm是精确推断的核心算法。BP算法是针对数结构算法
• 算法联系：
  联合树算法(junction tree algorithm) 和环置信度传播算法(Loop_Belief_Propagation)均采用信念传播的思想(Belief_Propagation)

10.2 隐马尔可夫模型(HMM-Hidden_Markov_Model)

10.2.1 模型结构：

• I：表示隐状态
• O：表示观测变量

10.2.2 HMM的三个问题：

• 估计问题(Evaluation)-推断算法：为了求P(O)概率问题,相当于求边缘概率$P(O)={\sum }_{I}P(I|O)$
  由于边缘概率求法是$p(x_i)={\sum }_{x_1}...{\sum }_{x_{i-1}}{\sum }_{x_{i+1}}...{\sum }_{x_p}p(x)$，计算量成指数集增长，所以我们采用变量消除的思想(VE算法)来衍生出前向算法和后向算法
• 学习问题(Learning):为了学习参数$\hat{\lambda }$怎么求
• 解码问题(Decoding)-推断算法:要求一个隐状态序列$\hat{I}=argma{x}_{I}P(I|O)$
  例：Vitebi_Algorithm算法，其实就是一个动态规划问题，HMM也是一种动态贝叶斯网络，也是动态规划问题。

11.变量消除(VE-Variable_Elimination)

对于推断问题，在给定联合概率$p(x)=p(x_1,x_2,...,x_p)$情况下，大体可以分为三种目的：

• 边缘概率:：$p(x_i)={\sum }_{x_1}...{\sum }_{x_{i-1}}{\sum }_{x_{i+1}}...{\sum }_{x_p}p(x)$
• 条件概率：$p(X_A|X_B),X=X_A\cup X_B$
• MAP Inference: $\widehat{X_A}=argma{x}_{X_A}p(X_A|X_B)=argmaxp(X_A,X_B)$

11.1变量消除-马氏链

假设我们有一条简单的马氏链，如下所示：

由因子分解可求p(d):
$$p(d)={}_{a,b,c}^{\sum }P(a,b.c,d)\text{\hspace{1em}(33)}$$

注 ： 假 设 a , b , c , d 均 为 均 匀 离 散 的 二 值 随 机 变 量 ， 即 ： a , b , c , d ∈ { 0 , 1 } 注：假设a,b,c,d均为均匀离散的二值随机变量，即：a,b,c,d \in\{0,1\} 注：假设a,b,c,d均为均匀离散的二值随机变量，即：a,b,c,d∈{0,1}

p(d)边缘概率，可以求p(d=0)，p(d=1)

$p(d)={}_{a,b,c}^{\sum }P(a,b.c,d)$

$={}_{a,b,c}^{\sum }P(a)P(b|a)P(c|b)P(d|c)$

$=P(a=0)P(b=0|a=0)P(c=0|b=0)P(d|c=0)$

$+P(a=0)P(b=1|a=0)P(c=0|b=1)P(d|c=0)$

$+P(a=0)P(b=1|a=0)P(c=1|b=1)P(d|c=1)$

$+P(a=0)P(b=0|a=0)P(c=0|b=0)P(d|c=1)$

$+P(a=1)P(b=0|a=1)P(c=0|b=0)P(d|c=0)$

$+P(a=1)P(b=1|a=1)P(c=0|b=1)P(d|c=0)$

$+P(a=1)P(b=1|a=1)P(c=1|b=1)P(d|c=1)$

$+P(a=1)P(b=0|a=1)P(c=0|b=0)P(d|c=1)$

所以上式由8个因子项的积，我们可以通过分配率将上述8个因子积进行分类处理：

$p(d)={}_{a,b,c}^{\sum }P(a)P(b|a)P(c|b)P(d|c)$

$={}_{b,c}^{\sum }P(c|b)P(d|c)\cdot {}_a^{\sum }P(a)P(b|a)$

$={}_c^{\sum }P(d|c)P(c|b)\cdot {\varphi }_a(b)$

$={}_c^{\sum }P(d|c){}_b^{\sum }P(c|b)\cdot {\varphi }_a(b)$

$={}_c^{\sum }P(d|c)\cdot {\varphi }_b(c)$

$={\varphi }_c(d)$

• ${}_a^{\sum }P(a)P(b|a):记作关于b的函数{\varphi }_a(b)$

• ${}_b^{\sum }P(c|b)\cdot {\varphi }_a(b):记作关于c的函数{\varphi }_b(c)$

• ${}_c^{\sum }P(d|c)\cdot {\varphi }_b(c):记作关于d的函数{\varphi }_c(d)$

$我们可以将{}_a^{\sum }P(a)看作是关于a的函数\varphi (a)$

$我们可以将P(a)P(b|a)看作是关于a,b的函数\varphi (a,b)$

注：该算法的核心思想是乘法对加法的分配律，我们初中学习过ac + ab = a(b + c),其实类比分配律，我们先通过提取a相关的项后，再提取b相关的项，再提取c相关的项，最后就只剩下关于d的项了，最后达到消元化简的目的。以上公式同样适用于无向图。

11.2无向图的因子分解

对于无向图来说，举例一个简单模型如下：

由因子分解可得：
$$P(a,b,c,d)=\frac{1}{Z}\prod _{i=1}^k{\varphi }_{ci}(X_{ci})\text{\hspace{1em}(34)}$$

• K：无向图中的最大团的个数

我们可以把p(x)通过因子分解写成如下形式：
$$p(x)=\prod _{x_c}{\varphi }_c(X_c)\text{\hspace{1em}(35)}$$

• 可以把有向图中的每一项当做${\varphi }_c(X_c)$来看待

11.3 变量消除-缺点

变量消除算法(VE-Variable_Elimination)由三个缺点：

• 重复计算问题
  我们在求p(d)的时候就一步一步提取求出来，但是当我们再求p©时，又得按照上述步骤重复计算一遍，它没有把上述步骤存储下来，导致重复计算的问题
• 变量消去次序问题Ordering
  对于上述的简单有向图结构a->b->c->d我们可以一眼看出消去次序a-b-c-d，但是对于链比较复杂的时候，这个消除的次序是跟计算复杂度相关的，科学家发现这个问题就是一个NP-hard问题，非常的难。

总结：对于图结构简单，我们可以使用变量消除(VE)的方法进行精确推断；当复杂的时候，我们会在VE算法的基础上衍生出置信度传播和联合树算法来解决。

12. 置信度传播算法(Belief-Propagation)

Belief-Propagation是为了解决重复计算问题的，通过缓存记录下每个节点间的边的值，最后通过组合边的值来求得点的边缘概率。

12.1 马氏链举例：

假设我们有一条简单的马氏链，如图所示：

通过因子分解可得P(e)概率如下所示：
$$P(a,b,c,d,e)=P(a)P(b|a)P(c|b)P(d|c)P(e|d)\text{\hspace{1em}(36)}$$
$$P(e)=\sum _{a,b,c,d}P(a,b,c,d,e)=\sum _{d}P(e|d)\sum _{c}P(d|c)\sum _{b}P(c|b)\sum _{a}P(b|a)P(a)\text{\hspace{1em}(37)}$$

为方便描述，我们引入下面符号：

• $m_{a\to b}(b)={\sum }_{a}P(b|a)P(a)$
• $m_{b\to c}(c)={\sum }_{b}P(c|b){\sum }_{a}P(b|a)P(a)$
• $m_{c\to d}(d)={\sum }_{c}P(d|c){\sum }_{b}P(c|b){\sum }_{a}P(b|a)P(a)$
• $m_{d\to e}(e)={\sum }_{d}P(e|d){\sum }_{c}P(d|c){\sum }_{b}P(c|b){\sum }_{a}P(b|a)P(a)$

所以我们消去的方向如下：相当于沿着马氏链一直往前走，就是所谓的向前算法((Forward Algorithm)。

当我们要求$P(c)$时，我们得更改传播方向如下图所示：

$$P(c)=\sum _{a,b,d,e}P(a,b,c,d,e)=[\sum _{b}P(c|b)\sum _{a}P(b|a)P(a)]\cdot [\sum _{d}P(d|c)\sum _{e}P(e|d)]\text{\hspace{1em}(38)}$$
所以，当我们提了需求算$P(b),P(c),P(d)$时，都会出现重复计算的问题。为了解决上述问题，我们可以通过存储如下8个变量即可，当要求P(b)时，只需要简单的组合下上述8个变量(正向和反向都求出来)即可。从而避免了重复计算的问题。

12.2 树形无向图举例：

假设我们有如下树形无向图结构：

由因子分解可得联合概率密度$P(a,b,c,d)$：
$$P(a,b,c,d)=\frac{1}{Z}{\varphi }_a(a){\varphi }_b(b){\varphi }_c(c){\varphi }_d(d)\cdot {\varphi }_{ab}(a,b)\cdot {\varphi }_{bc}(b,c)\cdot {\varphi }_{bd}(b,d)\text{\hspace{1em}(39)}$$

• ${\varphi }_i(i)：表示与i相关的函数集合$
• 如果要求$P(a)$时，我们需要求:
  $$P(a)=\sum _{b,c,d}P(a,b,c,d)\text{\hspace{1em}(40)}$$
  $$P(b)=\sum _{a,c,d}P(a,b,c,d)\text{\hspace{1em}(41)}$$

P(a),P(b)变量消除方向如图所示：

此时我们在计算P(a)和P(b)过程中会重复计算，为了解决上述无向图(4个点，3个边)重复计算问题，我们引入如下变量：
$$m_{i\to j}(X_j):关于X_j的函数，在运算过程中消除掉X_i\text{\hspace{1em}(42)}$$
故无向图可以用转换成如下形式：

我们可以将P(a)的思路分解如下：

综上所述：

$$m_{b\to a}(X_a)=\sum _{X_b}\varphi (ab)\cdot {\varphi }_b(b)\cdot m_{c\to b}(X_b)\cdot m_{d\to b}(X_b)\text{\hspace{1em}(43)}$$
$$P(a)={\varphi }_a(a)\cdot m_{b\to a}(X_a)\text{\hspace{1em}(44)}$$
将上述公式<43>和<44>转换成更加通用形式：

• 公式<43>通用性表达：

第一步：把$m_{c\to b}(X_b)\cdot m_{d\to b}(X_b)$化成通用形式：
m b → a ( X a ) = ∑ X b ϕ ( a b ) ⋅ ϕ b ( b ) ⋅ ∏ k ∈ { N B ( b ) − a } m k → b ( x b ) (45) m_{b\rightarrow a}(X_a)=\sum_{X_b}\phi(ab)·\phi_b(b)·\prod_{k\in\{NB(b)-a\}}{m_{k\rightarrow b}(x_b)}\tag{45} mb→a​(Xa​)=Xb​∑​ϕ(ab)⋅ϕb​(b)⋅k∈{NB(b)−a}∏​mk→b​(xb​)(45)

• k ∈ { N B ( j ) − a } ： 表 示 k 属 于 节 点 b 的 所 有 邻 居 节 点 ( 除 节 点 a 之 外 ) k\in\{NB(j)-a\}：表示k属于节点b的所有邻居节点(除节点a之外) k∈{NB(j)−a}：表示k属于节点b的所有邻居节点(除节点a之外)

第一步：把$b=j,a=i$进一步化成通用形式：
m j → i ( X i ) = ∑ X j ϕ ( i j ) ⋅ ϕ j ( j ) ⋅ ∏ k ∈ { N B ( j ) − i } m k → j ( x j ) (46) m_{j\rightarrow i}(X_i)=\sum_{X_j}\phi(ij)·\phi_j(j)·\prod_{k\in\{NB(j)-i\}}{m_{k\rightarrow j}(x_j)}\tag{46} mj→i​(Xi​)=Xj​∑​ϕ(ij)⋅ϕj​(j)⋅k∈{NB(j)−i}∏​mk→j​(xj​)(46)

• 公式<44>通用性表达:
  P ( X i ) = ϕ i ( X i ) ⋅ ∏ k ∈ { N B ( i ) } m k → i ( X i ) (47) P(X_i)=\phi_i(X_i)·\prod_{k\in\{NB(i)\}}m_{k\rightarrow i}(X_i)\tag{47} P(Xi​)=ϕi​(Xi​)⋅k∈{NB(i)}∏​mk→i​(Xi​)(47)
  结论：
  不要直接求边缘概率$P(a),P(b),P(c)$！只需先求出$m_{i\to j}$即可，将它保存在缓存中，后面通过组合$m_{i\to j}$求边缘概率！

12.3 Belief-Propagation 消息传递机制

m b → a ( X a ) = ∑ X b ϕ ( a b ) ⋅ ϕ b ( b ) ⋅ ∏ k ∈ { N B ( b ) − a } m k → b ( x b ) (48) m_{b\rightarrow a}(X_a)=\sum_{X_b}\phi(ab)·\phi_b(b)·\prod_{k\in\{NB(b)-a\}}{m_{k\rightarrow b}(x_b)}\tag{48} mb→a​(Xa​)=Xb​∑​ϕ(ab)⋅ϕb​(b)⋅k∈{NB(b)−a}∏​mk→b​(xb​)(48)

BP算法的本质就是VE+Caching.简单来说就是直接先求$m_{ij}$，在求边缘概率$P(X_i)$,通过图的遍历来求$m_{ij}$

对于无向图来说我们知道了它的拓扑结构和它的信息传递的方式，如图所示：

• ${\varphi }_b(b)$：节点b自身的函数(self)
• ∏ k ∈ { N B ( b ) − a } m k → b ( x b ) \prod_{k\in\{NB(b)-a\}}{m_{k\rightarrow b}(x_b)} ∏k∈{NB(b)−a}​mk→b​(xb​)：节点b的子节点数集合(children)
• ϕ b ( b ) ⋅ ∏ k ∈ { N B ( b ) − a } m k → b ( x b ) \phi_b(b)·\prod_{k\in\{NB(b)-a\}}{m_{k\rightarrow b}(x_b)} ϕb​(b)⋅∏k∈{NB(b)−a}​mk→b​(xb​)：包括节点自己本身的信息和其他节点传播来的信息,记作:belief(b)

所以上述式子可以转换成：
$$belief(b)=\varphi (b)\cdot children\text{\hspace{1em}(49)}$$
$$m_{b\to a}(X_a)=\sum _{X_b}\varphi (ab)\cdot belief(b)\text{\hspace{1em}(49)}$$

• 注：从收集消息机制来说，如果要求a的概率，就是要把所有的信息量以消息的形式发送给a，我们首先是通过节点b来收集关于b的所有的信息，生成信息积belief(b),再通过b和其自身相关的信息量传递给a，这样就生成了概率P(a)。

12.4 Belief-Propagation算法描述

BP算法本质就是VE算法加上Caching(存储$m_{ij}$)，即先通过图的遍历来求$m_{ij}$，并存储$m_{ij}$,最后通过组合$m_{ij}$来求得边缘概率$P(X_i)$

12.4.1Belief-Propagation-(Sequential Implementation)

队列实现方式如下：

• Get Root:可以指定或随机指定一个节点为根节点
• Collect Message:对于每一个在根节点的邻接点中的节点 xi，Collect Message (xi)对应于下图的蓝色箭头信息；
  for $X_i$ in NB(Root) -> CollectMsg$(X_i)$
• Distribute Message:分发信息，对于每一个在根节点的邻接点中的节点 xi，Distribute Message (xi)，对应于下图的绿色箭头信息
  for $X_j$ in NB(Root) -> CollectMsg$(X_j)$

经过上述三个步骤可得，$对于所有i,j\in V的m_{ij},从而计算出P(X_k),k\in V$

12.4.2 Belief-Propagation-(Parellel Implementation)

这种思想就跟路由器算法思想一样，就是首先随机找一个节点点a，其他每个节点others在接受到节点a的信号后就开始收集自己的消息，others节点只是简单的收集来自于关于自己的消息后，就发送消息给所有的邻居节点，最后邻居节点也重复收集信息和发送信息的操作，其他节点收到信息之后，更新自己的状态，然后反馈自己的信息给源节点，源节点再更新自己
的信息。不断地重复这个工作，直到最后收敛为止

13. Max Product Algorithm

13.1 概述

我们知道概率图模型的推断包含如下三个方面，首先我们把图模型变量分成两个集合
G r a p h i = { X , E } (50) Graphi=\{X,E\}\tag{50} Graphi={X,E}(50)

• $X:表示普通的节点$
• E ： = { e 1 , e 2 , . . . , e k } E：=\{e_1,e_2,...,e_k\} E：={e1​,e2​,...,ek​},E是已知的观测变量；
• 边缘概率：模型中通常用P(E)表示，我们称作求它的似然(likelihood)
• 条件概率：模型中通常用 P(X|E)表示，我们称作求它的后验(posterior)；
  通常X可以分成两个部分Y和Z,有的时候不是求X这个整体，大多数时候是为了求部分后验P(Y|E)
  $$假设X=(Y,Z);求部分后验P(Y|Z)=\sum _{Z}P(X|E)\text{\hspace{1em}(51)}$$
• MAP(Decoding)
  $$\hat{X}=argma{x}_{x}P(X|E)\text{\hspace{1em}(52)}$$
• 注：找到一个隐状态序列，令后验达到最大；

13.2 (隐形马尔科夫链)HMM中的Viterbi

常见HMM模型如下：

• $Y_t$：表示隐状态
• $X_t$：表示观测变量
• $Decoding$：就是求关于Y的隐状态序列，使得P(Y|X)取得最大；
  $$\hat{Y}={}_Y^{argmax}P(Y|X)\text{\hspace{1em}(53)}$$
• 注：求最大值用的Viterbi算法，它实际上是一个动态规划问题。
  我们当时是定义变量${\delta }_t,{\delta }_{t+1}，其中{\delta }_t表示从t=1时刻到t=t时刻它的最大概率值，通过这种方法找到{\delta }_t,{\delta }_{t+1}之间的关系$，这样就能求出$\widehat{y_1},...,\widehat{y_t}$这个序列，从而可以令${\delta }_t$最大。我们通过反向定了另外参数来记录每次取得最大值得状态是哪个，最后连接起来称为一个序列，这样就求出来啦。

13.2.1 sum-product algorithm一般表达式

由公式<46><47>可得BP算法的一般表达式为：
m j → i ( X i ) = ∑ X j ϕ ( i j ) ⋅ ϕ j ( j ) ⋅ ∏ k ∈ { N B ( j ) − i } m k → j ( x j ) (54) m_{j\rightarrow i}(X_i)=\sum_{X_j}\phi(ij)·\phi_j(j)·\prod_{k\in\{NB(j)-i\}}{m_{k\rightarrow j}(x_j)}\tag{54} mj→i​(Xi​)=Xj​∑​ϕ(ij)⋅ϕj​(j)⋅k∈{NB(j)−i}∏​mk→j​(xj​)(54)

P ( X i ) = ϕ i ( X i ) ⋅ ∏ k ∈ { N B ( i ) } m k → i ( X i ) (55) P(X_i)=\phi_i(X_i)·\prod_{k\in\{NB(i)\}}m_{k\rightarrow i}(X_i)\tag{55} P(Xi​)=ϕi​(Xi​)⋅k∈{NB(i)}∏​mk→i​(Xi​)(55)

13.2.2 max-product algorithm一般表达式

max-product algorithm从算法上来讲是对BP(sum-product algorithm)算法的改进，从模型上来讲是viterbi算法的泛化推广。是为了解决decoding问题的。
m j → i ( X i ) = X j M A X ϕ ( i j ) ⋅ ϕ j ( j ) ⋅ ∏ k ∈ { N B ( j ) − i } m k → j ( x j ) (56) m_{j\rightarrow i}(X_i)={}^{MAX}_{X_j}\phi(ij)·\phi_j(j)·\prod_{k\in\{NB(j)-i\}}{m_{k\rightarrow j}(x_j)}\tag{56} mj→i​(Xi​)=Xj​MAX​ϕ(ij)⋅ϕj​(j)⋅k∈{NB(j)−i}∏​mk→j​(xj​)(56)

• 注：sum-product algorithm是关于$X_j$求和，但max-product algorithm是直接选出关于$X_j$最大值。

P ( X i ) = ϕ i ( X i ) ⋅ ∏ k ∈ { N B ( i ) } m k → i ( X i ) (57) P(X_i)=\phi_i(X_i)·\prod_{k\in\{NB(i)\}}m_{k\rightarrow i}(X_i)\tag{57} P(Xi​)=ϕi​(Xi​)⋅k∈{NB(i)}∏​mk→i​(Xi​)(57)
举例：假设我们有如下无向图结构：

• 注：在max-product algorithm算法中，$m_{j\to i}(X_i)$表示最大值，这是两种算法的根本区别。
• $m_{c\to b}(X_b)$：表示经过节点c所形成的能让概率达到最大的值。

根据上图的无向图(蓝色箭头)来具体分析此算法含义：

$$边c->b：m_{c\to b}(X_b)={MAX}_{X_c}\underset{关于c的函数}{\underbrace{{\varphi }_c\cdot {\varphi }_{bc}}}\text{\hspace{1em}(58)}$$

• 注：$从K_1个状态的X_c中找到一个状态使得{\varphi }_c\cdot {\varphi }_{bc}最大$

$$边d->b：m_{d\to b}(X_b)={MAX}_{X_d}\underset{关于d的函数}{\underbrace{{\varphi }_d\cdot {\varphi }_{bd}}}\text{\hspace{1em}(59)}$$

• 注：$从K_2个状态的X_d中找到一个状态使得{\varphi }_d\cdot {\varphi }_{bd}最大$
  $$边b->a：m_{b\to a}(X_a)={MAX}_{X_b}\underset{关于b的函数}{\underbrace{{\varphi }_b\cdot {\varphi }_{ab}\cdot m_{c\to b}(X_b)\cdot m_{d\to b}(X_b)}}\text{\hspace{1em}(60)}$$
• 注：$从K_3个状态的X_b中找到一个状态使得{\varphi }_b\cdot {\varphi }_{ab}\cdot m_{c\to b}(X_b)\cdot m_{d\to b}(X_b)最大$
  $$目标：P(X_a,X_b,X_c,X_d{)}_{max}=MA{X}_{Xa}\underset{关于a的函数}{\underbrace{\varphi a\cdot m_{b\to a}(X_a)}}\text{\hspace{1em}(61)}$$
• 注：$从K_4个状态的X_a中找到一个状态使得\varphi a\cdot m_{b\to a}(X_a)最大$

如果回溯上述过程，无向图按照(绿色箭头)就能得到一组数列$<X_a^{\ast },X_b^{\ast },X_c^{\ast },X_d^{\ast }>$

max-product algorithm就是找到一组$<X_a^{\ast },X_b^{\ast },X_c^{\ast },X_d^{\ast }>$,使得联合概率$P(X_a,X_b,X_c,X_d|E)$取得最大值。而不是求出$m_{c\to b}(X_b),m_{d\to b}(X_b),m_{b\to a}(X_a)的值。只需要迭代求出数列即可$
F o u n d < X a ∗ , X b ∗ , X c ∗ , X d ∗ > = a r g m a x { X a , X b , X c , X d } P ( X a , X b , X c , X d ∣ E ) (62) Found<X_{a}^*,X_{b}^*,X_{c}^*,X_{d}^*>=argmax_{\{X_a,X_b,X_c,X_d\}}P(X_a,X_b,X_c,X_d|E)\tag{62} Found<Xa∗​,Xb∗​,Xc∗​,Xd∗​>=argmax{Xa​,Xb​,Xc​,Xd​}​P(Xa​,Xb​,Xc​,Xd​∣E)(62)

14. 道德图 (Moral Graph)

14.1 道德图的背景

道德图的产生的原因就是想把有向图转换成无向图。因为有向图相对于无向图来说，无向图更加一般化些，通过概率函数可比较得：
$$无向图：P(X)=\frac{1}{Z}\prod _{i=1}^K{\varphi }_{ci}(X_{ci})\text{\hspace{1em}(63)}$$

• K：表示最大团的个数
• ci：表示最大团的集合
• Z:归一化因子
  $$有向图：P(X)=\prod _{i=1}^{p}P(X_i|X_{pa(i)})\text{\hspace{1em}(64)}$$
• $X_{pa(i)}：$表示其父节点的集合
  由上述公式可得，我们只要将归一化因子Z看成1就很自然的将有向图转换成无向图，所以我们就引入道德图去分析，将有向图转换成方便推断的无向图了。

14.2 有向图转换成无向图举例

14.2.1 head to tail 结构转换

对于链式结构来说，我们只需要将箭头转换成直线即可

$$P(a,b,c)=\underset{\varphi (a,b)}{\underbrace{P(a)\cdot P(b|a)}}\cdot \underset{\varphi (b,c)}{\underbrace{P(c|b)}}\text{\hspace{1em}(65)}$$

由于在无向图中，我们考虑的是最大团，所以$p(a)p(b|a)=\phi (a,b),p(c|b)=\phi (b,c)$这个的转换是非常的简单了。

14.2.2 tail to tail 结构转换

$$P(a,b,c)=\underset{\varphi (a,b)}{\underbrace{P(a)\cdot P(b|a)}}\cdot \underset{\varphi (a,c)}{\underbrace{P(c|a)}}\text{\hspace{1em}(66)}$$

将所有的箭头变成直线，分别变成两个团{a,b},{a,c}

14.2.3 head to head 结构转换

$$P(a,b,c)=\underset{\varphi (a,b,c)}{\underbrace{P(a)\cdot P(b)\cdot P(c|a,b)}}\text{\hspace{1em}(67)}$$

• 注：a,b,c显然不是一个团，团的定义是里面的所有节点是两两相同的。所以上述无向图(左边)为错误的。

14.3 有向图转换成无向图[道德图方法总结]

• 对于任意$\forall X_i\in G,将parent(X_i)父亲节点两两连接起来$
• 将G中所有的有向边替换成无向边
  
• 注：如果我们的有向图非常复杂，用D-Separation判断条件独立性会十分复杂，我们可以先将其转换成无向图(道德图)，再用道德图去判断条件独立性，这样就非常的简单了。
  S e p { M ( G ) } ( A , B ∣ C ) ⟺ D − S e p { G } ( A , B ∣ C ) (68) Sep_{\{M(G)\}}(A,B|C)\Longleftrightarrow D-Sep_{\{G\}}(A,B|C)\tag{68} Sep{M(G)}​(A,B∣C)⟺D−Sep{G}​(A,B∣C)(68)

15.因子图(Factor Graph)

15.1 因子图的背景

我们知道在图模型中，我们常常通过道德图将有向图转换成无向图进行处理，但在使用有向图的head to head 模型中就出现环结构，而在Belief Propagation(BP) 算法中，只能对树进行分解。所以，在通常的树结构图模型中，我们就引入因子图来将环结构无向图转换成同等的树结构无向图。

因子图有如下作用：

• 通过引入变量因子把同等效果的树结构代替无向图中的环结构，以此消除无向图中环结构
• 无向图在无环结构的情况下，算法模型变得更加简洁，大大简化计算。
• 变量节点与变量节点是不直接相关联，每个变量节点与因子节点相关联，可以分两层处理。

对于tail to tail 结构来说：

$$有向图：P(a,b,c)=P(a)\cdot P(b|a)\cdot P(c|a)\text{\hspace{1em}(65)}$$
$$无向图：P(a,b,c)=\frac{1}{Z}{\varphi }_1(a,b){\varphi }_2(a,c)\text{\hspace{1em}(66)}$$
我们通过不同的图结构，把它与之对应的因子分解求出来，那么如何将上述的因子分解统一起来呢？为解决上述问题，那么我们就把因子直接引入到图里面就行了。

15.2 因子图的举例

我们定义 X = { x 1 , x 2 , . . . , x p } X=\{x_1,x_2,...,x_p\} X={x1​,x2​,...,xp​},我们定义P(x)为如下：
$$P(x)=\prod _S{f}_s(X_s)\text{\hspace{1em}(67)}$$

• S:表示图的节点子集
• $X_s$：表示对应的X的随机变量子集
  为说明上式，我们举个例子吧。一般在转换因子图的过程中，因子图的方式多种多样，不是唯一的。

因式分解本身对应一个特殊的因子图
$$结论：因子图看作是对因式分解的进一步分解$$

15.2.1 环结构第一种分解：

• $f=f(a,b,c)$

15.2.2 环结构第二种分解：

$$P(x)=f_1(a,b)\cdot f_2(a,c)f_3(b,c)\text{\hspace{1em}(68)}$$

15.2.3 环结构第三种分解：

因子图存在的意义是可以有效的消除环结构，通过一个重构的方式，重建出树的结构。这样可以有效的帮助我们使用 Belief Propagation 中的变量消除法等方法。