9 概率图模型

1 背景

概率图模型使用图的方式表示概率分布。为了在图中添加各种概率，首先总结一下随机变量分布的一些性质。

1.1 概率的基本性质

我们假设现在有一组高维随机变量， $p(x_1,x_2,...,x_n)$.它有两个非常基本的概率，也就是条件概率和边缘概率，以及根据这两个基本的概率，我们可以得到两个基本的运算法则：Sum Rule 和 Product Rule。并且根据这两个基本的法则，我们可以推出Chain Rule 和Bayesian Rule。

• 边缘概率：$p(x_1)$
• 条件概率： $p(x_i|x_j)$
• Sum Rule： $p(x_1)=\int p(x_1,x_2)d{x}_2$
• Product Rule： $p(x_1,x_2)=p(x_1|x_2)p(x_2)$
• Chain Rule：$p(x_1,x_2,\cdots ,x_p)=\prod _{i=1}^{p}p(x_i|x_{i+1,x_{i+2}\cdots }{x}_p)$
• Bayesian Rule： $p\left(x_2|x_1\right)=\frac{p\left(x_1,x_2\right)}{p\left(x_1\right)}=\frac{p\left(x_1,x_2\right)}{\int p\left(x_1,x_2\right)d{x}_2}=\frac{p\left(x_2|x_1\right)p\left(x_1\right)}{\int p\left(x_2|x_1\right)p\left(x_1\right)d{x}_2}$

1.2 条件独立性

为什么要引入条件独立性呢？可以看到，在链式法则中，如果数据维度特别高，那么的采样和计算非常困难，联合概率使用链式法则$p(x_1,x_2,\cdots ,x_p)=\prod _{i=1}^{p}p(x_i|x_{i+1,x_{i+2}\cdots }{x}_p)$会爆炸。

因此我们需要在一定程度上作出简化，来说说我们简化运算的思路。

1. 假设每个维度之间都是相互独立的，那么我们 $$\begin{gathered} p(x_1,x_2,\cdots ,x_p)=\prod \\ limit{s}_{i=1}^{p}p(x_N) \end{gathered}$$。比如，朴素贝叶斯就是这样的设计思路，也就是 $p(x|y)=\prod _{i=1}^{N}p(x_i|y)$。但是，这个假设太强了，实际情况中的依赖比这个要复杂很多。所以我们像放弱一点，增加之间的依赖关系，于是我们有提出了马尔科夫性质(Markov Propert)。
2. 假设每个维度之间是符合马尔科夫性质(Markov Propert) 的。所谓马尔可夫性质就是，对于一个序列 { x 1 , x 2 , ⋯   , x N } \left\{x_{1}, x_{2}, \cdots, x_{N}\right\} {x1​,x2​,⋯,xN​}，第 $i$ 项仅仅只和第 $i-1$ 项之间存在依赖关系。用符号的方法我们可以表示为： $X_j\perp X_{i+1}|x_i,j<i$
3. 在HMM 里面就是这样的齐次马尔可夫假设，但是还是太强了，我们还是要想办法削弱。自然界中经常会出现，依赖关可能是随意的，序列之间不同的位置上存在依赖关系，因此我们提出了条件独立性。
4. 条件独立性：条件独立性假设是概率图的核心概念。它可以大大的简化联合概率分布。而用图我们可以大大的可视化表达条件独立性。我们可以描述为：$$X_A\perp X_B|X_C$$ 而 $X_A,X_B,X_C$​ 是变量的集合，彼此之间互不相交。

1.3 概率图的算法分类

概率图模型采用图的特点表示上述的条件独立性假设，节点表示随机变量，边表示条件概率。大致可以分为三类，表示(Representation)，推断(Inference) 和学习(Learning)。

1.3.1 Representation

知识表示的方法，可以分为有向图，Bayesian Network；和无向图，Markov Network，这两种图通常用来处理变量离散的情况。对于连续性的变量，我们通常采用高斯图，同时可以衍生出，Gaussian Bayesian Network 和Guassian Markov Network。

1.3.2 Inference

推断可以分为精准推断和近似推断。所谓推断就是给定已知求概率分布 。近似推断中可以分为确定性推断(变分推断) 和随机推断(MCMC)，MCMC 是基于蒙特卡罗采样的。

1.3.3 Learning

学习可以分为参数学习和结构学习。在参数学习中，参数可以分为变量数据和非隐数据，我们可以采用有向图或者无向图来解决。而隐变量的求解我们需要使用到 EM 算法，这个EM 算法在后面的章节会详细推导。而结构学习则是，需要我们知道使用哪种图结构更好，比如神经网络中的节点个数，层数等等，也就是现在非常热的Automate Machine Learning。

2 有向图-贝叶斯网络 Bayesian Network

概率图模型中，图是用来表达的，将概率嵌入到了图中之后，使得表达变得非常的清晰明了。在我们的联合概率计算中，出现了一些问题： $$p\left(x_1,x_2,\cdots ,x_N\right)=p\left(x_i\right)\prod _{i=1}^{N}p\left(x_i|x_{1:i-1}\right)$$这样的计算维度太高了，所以我们引入了条件独立性，表达为 $X_A\perp X_B|X_C$​。

已知联合分布中，各个随机变量之间的依赖关系，那么可以通过拓扑排序（根据依赖关系）可以获得一个有向图。而如果已知一个图，也可以直接得到联合概率分布的因子分解： p ( x 1 , x 2 , ⋯   , x N ) = ∏ i = 1 N p ( x i ∣ x p a { i } ) p\left(x_{1}, x_{2}, \cdots, x_{N}\right)=\prod_{i=1}^{N} p\left(x_{i} | x_{p a\{i\}}\right) p(x1​,x2​,⋯,xN​)=i=1∏N​p(xi​∣xpa{i}​)其中，$pai$ 表示为 $x_i$ 的父亲节点。而概率图可以有效的表达条件独立性，直观性非常的强，我们接下来看看概率图中经典的三种结构。

2.1 概率图的三种基本结构

对于一个概率图，我们可以使用拓扑排序来直接获得条件独立性的关系。如果存在一个关系由一个节点 $x_i$ 指向另一个节点 $x_j$​，我们可以记为 $p(x_j|x_i)$。我们现在需要定义一些规则来便于说明，对于一个概率图如下所示：

对于一个箭头——>来说，箭头所在的方向称为Head，另一端被称为Tail。

2.1.1 Tail to Tail 结构

Tail to Tail 的模型结构图，如下图所示，由于b 节点在 a 节点和 c 节点的Tail 部分，所以被我们称为Tail to Tail 结构。

我们使用因子分析来计算联合概率可以得到： $$p(a,b,c)=p(b)p(a|b)p(c|b)$$
使用链式法则，同样我们也可以得到： $$p(a,b,c)=p(b)p(a|b)p(c|b,a)$$
对比一下上述两个公式，可以对比得到： $$p(c|b)=p(c|b,a)$$
实际上，这里就已经就可以看出 $a\perp c$ 了，因为a 的条件增不增加都不会改变c 的概率，所以a 和c 之间是相互独立的。
$$\begin{array}{l}p(c|b)p(a|b)=p(c|b,a)p(a|b)=p(a,c|b)(后一个等号同乘以p(a)可看出)\\ \Rightarrow p(c|b)p(a|b)=p(a,c|b)\end{array}$$这样，我们就可以看得很明白了。这就是条件独立性，在 $b$ 的条件下， $a$ 和 $c$ 是独立的。实际在概率图中就已经蕴含这个分解了，只看图我们就可以看到这个性质了，这就是图的直观性，条件独立性和图是一样的。那么 $a\perp c$ 可以被我们看为：给定 $b$ 的情况下，如果 $b$ 被观测到，那么 $a$ 和 $c$ 之间是阻塞的，也就是相互独立。

此规则并不是强加上去的，是我们用概率图的因子分解表示联合概率后，本身存在的现象，我们在证明此现象存在后，总结出的规律，根据此规律可以直接看图得出结论。

2.1.2 Head to Tail 结构

其实，和Head to Head 结构的分析基本是上一模一样的，我们可以得到 $a\perp c|b$。也就是给定 $b$ 的条件下， $a$ 和 $c$ 之间是条件独立的。也就是 $b$ 被观测的条件下，路径被阻塞。
使用因子分解可以得到： $$p(a,b,c)=p(a)p(a|b)p(c|b)$$使用链式法则，可以得到： $$p(a,b,c)=p(b)p(a|b)p(c|b,a)$$对比一下上述两个公式，可以对比得到： $$p(c|b)=p(c|b,a)$$
实际上，这里就已经就可以看出 $a\perp c|b$。

2.1.3 Head to Head 结构

在默认情况下 $a\perp b$，也就是若 $c$ 被观测， $a$ 和 $b$ 之间是有关系的。我们可以推导一下默认情况。
使用因子分解：$$p(a,b,c)=p(a)p(b)p(c|a,b)$$使用链式法则： $$p(a,b,c)=p(b)p(a|b)p(c|b,a)$$对比一下上述两个公式，可以对比得到： $$p(b)=p(b|a)$$可得 $a\perp b$。但是当 $c$ 被观测后，上述关系不在成立。

2.1.4 三种结构对比

三种结构我们在上面都已经进行分析过了，其实大家发现Tail to Tail，Head to Tail 都比较正常，但是Head to Head 有点不对劲。因为不太符合条件独立性，因为当 c 被观察到的时候，a 和 b 之间反而有关系了。这实际上让人有点费解。

我们来举个例子：在图4 中的三个事件，我们引入一个故事。

• c：小明喝醉了。
• a：小明酒量小。
• b：小明心情不好。
  

我们想要知道 $p(a|c)=p(a|b,c)$ 是否会成立？如果等号成立的话 a 和 b 之间一定是相互独立的。这个我们在Tail to Tail 那一节就已经说过了。
我们假设小明喝醉了是因为小明心情不好的概率是 0.8，那么当我们知道小明喝醉了并且小明今天的心情不好的情况下，知道他酒量小的概率一定是小于0.8 的。大家想想就知道了，其实很简单的。
那么给定了$c,a$ 和 $b$ 之间反而无法分离了。这有点反常，反而使Inference 变得困难了，恰好反过来了。那么我们怎么解决这种情况呢？我们下一小节会解决这个问题。

这里用一个例子解释一下三种情况
情况一：将 a 看作父亲， 看作 b,c 儿子，当 a 存在时，两个儿子之前是有关系的，不独立，若父亲被观测（即出事了），那么 b,c 就相互独立了
情况二：将 a 看作爷爷， b 是父亲， c 是儿子，当 b 存在时，爷爷和儿子是有关系的，若父亲被观测（即出事了），那么 b 就相互独立了
情况三：将 a,b 看作父亲和母亲， c 是儿子。当儿子不存在时，a,b 可能还没有结婚或恋人关系，所以是相互独立的，若儿子被观测（即出生了），那么 a,b 就不再独立了

2.2 D-Separation

上一小节中，我们已经大致介绍了概率图之间的三种基本拓扑结构。下面我们来介绍一下，这三种拓扑结构的运用，以及如何扩展到我们的贝叶斯模型中。

接下来介绍一种判断规则：判断集合是不是具有条件独立性？

此方法称为D-Seperation，有两个规则

2.2.1 D-separation

假设我们有三个集合， $X_A,X_B,X_C$​，这三个集合都是可观测的，并且满足 $X_A\perp X_C|X_B$​。那我们想想，如果有一些节点连成的拓扑关系图，若其中一个节点 $a\in X_A,c\in X_C$​，那么如果 $a$ 和 $c$ 之间相互独立，他们之间连接的节点需要有怎样的条件？我们通过一个图来进行描述。

根据上一小节可知，假如从 $a$ 到 $c$ 中间通过一个节点 $b$，那么路径什么时候是连通的？什么时候又是阻塞的呢？我们可以分两种情况来讨论，为什么是两种？上一节我们就已经讲解过，Tail to Tail 结构和Head to Tail 结构其实是一样的，但是Head to Head 结构是反常的。
所以我们就分开进行讨论。

1. 如果是Tail to Tail 结构和Head to Tail 结构，那么中间节点 $b1,b2$ 必然要位于可观测集合 $X_B$ 中，那么 $a$ 和 $c$ 才是相互独立的。
2. 如果是Head to Head 结构，那就不一样了，在一般情况下 $a\perp c$，那就是 $b\notin X_B$​，包括他的子节点都不可以被观测到，不然就连通了。

针对D-Seperation图，我们使用这两条规则依次检查所有结点，若都满足，则称 $X_A,X_C$ 对于 $X_B$ 是条件独立的。

也就是存在集合 $X_A,X_B,X_C$，当 $X_B$ ​中的随机变量被观测的情况下， $X_A$ 与 $X_C$ ​中的随机变量相互独立，则称 $X_B$ ​是 $X_A,X_C$ ​的D-Separation。

实际上还有一个名字，叫做全局马尔科夫性质(Global Markov Property)。D-Separation 非常的关键，我们可以直接用这个性质来检测两个集合关于另外一个集合被观测的条件是不是条件独立。

2.2.2 Markov Blanket

定义：在随机变量的全集 $U$中，对于给定的变量 $X\in U$ 和变量集合 $MB\in U$，若有 $$X\perp (U-MB-X)|MB$$ 则称能满足上述条件的最小变量集MB为X的马尔科夫毯（Markov Blanket）。

D 划分应用在贝叶斯定理中：定义 $x_{-i}$ 为 { x 1 , x 2 , ⋯   , x i − 1 , x i + 1 , ⋯   , x N } \left\{x_{1}, x_{2}, \cdots, x_{i-1}, x_{i+1}, \cdots, x_{N}\right\} {x1​,x2​,⋯,xi−1​,xi+1​,⋯,xN​}，这个序列中不包括 $x_i$，那么，假设除了 $x_i$ 节点，其它的节点都是可观测的，那么我们需要计算概率： $$p\left(x_i|x_{-i}\right)=\frac{p\left(x_i,x_{-i}\right)}{p\left(x_{-i}\right)}=\frac{p(x)}{{\int }_{x_i}p(x)d{x}_i}=\frac{{\prod }_{j=1}^{N}p\left(x_j|x_{pa(j)}\right)}{{\int }_{x_i}{\prod }_{j=1}^{N}p\left(x_j|x_{pa(j)}\right)d{x}_i}$$我们分析一下上述等式，我们可以分成两部分，将和 $x_i$​ 相关的部分记为 $\bar{\Delta }$ , 将和 $x_i$​ 不相关的部分记为 $\Delta$，那么上式可改写为
$$p\left(x_i|x_{-i}\right)=\frac{\Delta \cdot \bar{\Delta }}{{\int }_{x_i}\Delta \cdot \bar{\Delta }d{x}_i}=\frac{\Delta \cdot \bar{\Delta }}{\Delta \cdot {\int }_{x_i}\bar{\Delta }d{x}_i}==\frac{\bar{\Delta }}{{\int }_{x_1}\bar{\Delta }d{x}_i}$$
那么 $x_i$​ 和其他所有点的关系可以被化简为只和 $x_i$​ 相关的点的关系。那么，我们将这个关系大致抽象出来，通过图来进行分析，找一找哪些节点是和 $x_i$​ 相关的，直观性也是概率图模型的一大优点。假设 $x_i$​ ​是可以被观测到的:

$P(x_i|x_{-i})$ 首先包括一部分为 $P(x_i|x_{-i})$ ，第二部分为 $p(x_{child(i)}|x_i,x_{pa(child(xi))})$。为什么第二部分可以这样写呢？首先 $x_i$​ 作为两个父亲节点，得到两个孩子节点，毫无疑问对吧，那么我们可以写成 $p(x_{child(i)}|x_i)$。但是和 $p(x_{child(i)})$ 相关的变量除了 $x_i$​ 肯定还有其他的，也就是 $x_{pa(child(xi))}$，所以我们就可以得到 $p(x_{child(i)}|x_i,x_{pa(child(xi))})$。

实际上，这些 $x_i$​ 周围的节点，也就是我用阴影部分画出的那些，可以被称为Markov Blanket。

从图上看就是留下父亲，孩子，孩子的另一个双亲，其他的节点可以忽略，也就是和周围的关系的连接。

换句话说，一个人的马尔可夫毯就是和你有关系的所有人（按式2-16定义）。如果想要调查这个人，总不能把全社会的所有人都调查一下吧（大量的特征冗余），其实只要找出这个人的马尔可夫毯人群调查一下就好了（特征选择）。特别地，如果这个社会是贝叶斯网络，马尔可夫毯人群只包括自己的家人，相当于人只与自己的家人有关系，和其他人没关系，是一种简化的模型。
贝叶斯网络，它是一个有向无环图（Directed Acyclic Graph, DAG），结点之间的连结都是有向箭头，且不能沿着箭头走一圈。贝叶斯网络是马尔可夫链的推广，马尔可夫链限定了结构只能是一条链，而贝叶斯网络则不再限定结构是一个链，但二者都遵守马尔可夫假设，即一个结点只依赖于它的上一个节点（一阶马尔可夫假设）。
参考：https://www.cnblogs.com/wt869054461/p/9899929.html

梳理一下：D-Separation 是在概率图中，帮助我们快速的判断条件独立性。对于一个节点，它和哪些节点相关，它和父亲，孩子，孩子的另一个双亲这三种节点相关，这三种点的集合就是Markov Blanket。在概率图中，我们用 $p\left(x_1,x_2,\cdots ,x_N\right)=p\left(x_i\right){\prod }_{i=1}^{N}p\left(x_i|x_{1:i-1}\right)$和 p ( x 1 , x 2 , ⋯   , x N ) = ∏ i = 1 N p ( x i ∣ x p a { i } ) p\left(x_{1}, x_{2}, \cdots, x_{N}\right)=\prod_{i=1}^{N} p\left(x_{i} | x_{p a\{i\}}\right) p(x1​,x2​,⋯,xN​)=∏i=1N​p(xi​∣xpa{i}​)两种表达形式是等价的。第一种是最完备的表达方法，第二种的表达是简化版本，蕴含了概率图中得到的条件独立性关系简化的结果。

2.3 例子

实际应用的模型中，对这些条件独立性作出了假设，从单一到混合，从有限到无限（时间，空间）可以分为单一，混合，时间和连续四个角度，下面看一下这个四个方法是一步一步越来越难的。

2.3.1 单一

单一最典型的代表就是 Naive Bayesian，这是一种 classification 的模型。对于 $p(x|y)$ 的问题来说，假设各维度之间相互独立，单一的条件独立性假设 $p(x|y)=\prod _{i=1}^{p}p(x_i|y)$，在 D 划分后，所有条件依赖的集合就是单个元素。

概率图模型表示如下所示：

很显然是一个Tail to Tail 的模型，我们很简单可以得出 $x_1\perp x_2\perp \cdots \perp x_N$。

2.3.2 混合

最常见的就是 Gaussian Mixture Model (GMM)，这是一种聚类模型，将每个类别拟合一个分布，计算数据点和分布之间的关系来确定，数据点所属的类别。我们假设 Z 是一个隐变量，并且 Z 是离散的变量， $z_1,z_2,\cdots ,z_k$， $p(x|z)=\mathcal{N}(\mu ,\Sigma )$，我们用模型可以表示为：

2.3.3 时间

时间上我们大致可以分成两种。第一种是Markov chain，这是随机过程中的一种；第二种是Gaussian Processing，实际上就是无限维的高斯分布。
实际上时间和混合可以一起看，我们称之为动态系统模型。并且，我们就可以衍生出三种常见的模型，这里讲的比较的模糊，在后面的章节我们会进行详细的分析。第一种是隐马尔可夫模型(HMM)，这是一种离散的模型；第二种是线性动态系统(LDS)，这是一种线性的连续的模型，包括典型的Kalman Filter。第三种是Particle Filter，一种非高斯的，非线性的模型。

2.3.4 连续

高斯贝叶斯网络Guassian Bayesian Network

2.3.5 组合

组合上面的分类如：GMM 与时序结合：动态模型
a. HMM（离散）
b. 线性动态系统 LDS（Kalman 滤波）
c. 粒子滤波（非高斯，非线性）

上一小节中，我们分析了有向图Bayesian Network，得到了因子分解法。虽然，有向图中可以方便直观的表达条件独立性，但是它也有它的局限性。也就是我们提到的对于Head to Head 的结构来说，当中间节点被观察到的时候，反而是两端的节点是相关的。这违反了条件独立性的特点，也就是当某些变量被观察到时，其他变量之间是独立的特点，这种情况有点反常，并不太好办。
但是，在无向图中就完全不会出现这样的情况，因为本来就没有方向，而且在无向图中也有类似的D-Separation 性质。

3 Markov网络

3.1 Markov网络中的条件独立

Markov 中的条件独立，大致可以被我们分成三种情况，Global Markov，Local Markov 和Pair Markov。

3.1.1 Global Markov

---

假设现在有三个集合 $X_A\perp X_B|X_C$​，我们想得到 $a\in X_A,b\in X_B$ 之间相互独立，这个应该怎么办？我们给出，只有a 和b 的中间节点至少有一个位于C 中，那么我们就可以得到 $a\in c$。

3.1.2 Local Markov

---

我们以下图的一个Markov Network 为例，

局部马尔可夫指：针对某个结点，当给定它的邻居结点时，它独立于其余结点。

用文字的语言来描述就为 $x\perp (X-x-Neighbour(x))|Neighbour(x)$。那么在这个图中，我们就可以表示为 a ⊥ { e , f } ∣ { b , c , d } a \perp\{e, f\} |\{b, c, d\} a⊥{e,f}∣{b,c,d}。

3.1.3 Pair Markov

---

成对马尔可夫性质可以被我们描述为： $x_i\perp x_j|x_{-i-j}(i\ne j)$。其中， $x_{-i-j}$​ 为从全集中去掉 $x_i$​ 和 $x_j$​ 而留下了的集合。

那么条件独立性就可以体现在，Global，Local 和Pair 中。其中Global <=> Local <=> Pair。也就是这三种条件独立的方法得到的结果是一样的。

3.2 因子分解法

我们想一想在一个无向图中，如何来体现我们想要的条件独立性。这里的引入和之前的不太一样，我们首先需要引入几个概念。团: 这是一个关于节点的集合，集合中的节点是相互连通的。而最大团，就很好理解了吧，也就是最大的连通子集。我们可以将无向图的分离定义到团上，我们假设 $c_1,c_2,\cdots c_k$ ​表示为团，共有 K 个团。那么，我们可以将联合概率定义为： $$p(x)=\frac{1}{Z}\prod _{i=1}^k\varphi \left(x_{c_i}\right)$$其中， $z$ 是归一化因子，因为没有归一化因子的话，这不能被称为一个概率分布，因为概率分布首先就要保证和等于1。那么， $z$ 被定义为:
$$z=\sum _x\prod _{i=1}^k\varphi \left(x_{c_i}\right)=\sum _{x_i}\cdots \sum _{x_N}\prod _{i=1}^k\varphi \left(x_{c_i}\right)$$而这里的因子分解法必定和Global，Local 和Pair 都是等价的。

接下来需要证明这种因子分解与条件独立性等价。

3.3 Gibbs Distribution 和Exponential Distribution

这个部分是上面部分的一个加深理解，首先我们需要总结一下。

1. Global Markov: $X_A\perp X_C|X_B$​ 。如果 $A,B,C$, 满足 $\mathrm{Sep}(A,C|B)$, Sep 代表 D-Separation，那么 $X_A\perp X_C|X_B$
2. Local Markov Network: $x_i\perp x_{-i-nb(i)}|x_{nb(i)}$​, 其实 $\mathrm{n}\mathrm{b}(\mathrm{i})$: neighbor of node $i_o$
3. Pair Markov: $x_i\perp x_j|x_{-i-j}$

$1\iff 2\iff 3\iff$因子分解(基于最大团)。这里面实际上是有个 Hammesley-Clifford 定理的，这个定理的证明非常的困难，我们这里就不做过多的阐述。

因子分解：在我们之前的定义中， $$p(x)=\frac{1}{Z}\prod _{i=1}^k\varphi \left(x_{c_i}\right)$$$c_i$：最大团； $x_{c_i}$：最大团的随机变量集合； $\varphi (x_{c_i})$：势函数，必须为正。这里的概念都是来自于统计学和热力学的过程。这里的势函数还有可以做文章的地方。

因为，势函数必定为正，我们可以将势函数表达为
$$\varphi (x_{ci})=\exp (-E(x_{ci}))$$其中， $E(x_{ci})$ 称为Energy function。实际上用这种形式表达的 $p(x)$ ，为Gibbs Distribution，或者又被称之为Boltzman Distribution（玻尔兹曼分布）。有了 $\varphi (x_{ci})$的形式，我们可以进一步推导得： p ( x ) = 1 Z ∏ i = 1 K ϕ ( x c i ) = 1 Z ∏ i = 1 K exp ⁡ { − E ( x c i ) } = 1 Z exp ⁡ { − ∑ i = 1 k E ( x c i ) } p(x)=\frac{1}{Z} \prod_{i=1}^{K} \phi\left(x_{c_{i}}\right)=\frac{1}{Z} \prod_{i=1}^{K} \exp \left\{-E\left(x_{c_{i}}\right)\right\}=\frac{1}{Z} \exp \left\{-\sum_{i=1}^{k} E\left(x_{c_{i}}\right)\right\} p(x)=Z1​i=1∏K​ϕ(xci​​)=Z1​i=1∏K​exp{−E(xci​​)}=Z1​exp{−i=1∑k​E(xci​​)}
我们再来回顾一下指数族分布，指数族分布的通用表达形式为： $$p(x)=h(x)\exp \left\{{\eta }^T\varphi (x)-A(\eta )\right\}=h(x)\frac{1}{Z(\eta )}\exp \left\{{\eta }^T\varphi (x)\right\}$$

在这里我们把 $ex{p}^{-A(\eta )}$，直接记为 $Z(\eta )$。大家观察就会发现势函数也就是Gibbs Distribution 就是一个指数族分布，可见因子分解后的 $p(x)$ 服从指数族分布。

Gibbs 是来自统计物理学，形式上和指数族分布时一样的。而指数族分布实际上是由最大熵分布得到的，那么我们可以理解Gibbs 分布也是有最大熵原理得到的。而马尔可夫随机场(Markov Random Field) 实际上等价于Gibbs 分布。至于为什么？这实际上全部都在Hammesley-Clifford 定理中，有兴趣的同学，请自行查阅。

推断(Inference) 这个词，对于有一定机器学习基础的同学来说，一定是听说过，这也是贝叶斯方法中一个非常重要的理论性研究。那么什么是推断呢？推断说白了，就是求概率。比如，对于一个联合概率密度函数 $p(x)=p(x_1,x_2,\cdots ,x_p)$。我们需要求的有哪些呢？

1. 边缘概率： $p\left(x_i\right)={\sum }_{x_1}\cdots {\sum }_{x_{i-1}}\cdots {\sum }_{x_{i+1}}\cdots {\sum }_{x_p}p(x)$
2. 条件概率： $p\left(x_A|x_B\right)$, 令$x=x_A\cup x_B$
3. MAP Inference：也就是 $\hat{z}=\arg {\max }_{z}p(z|x)\propto \mathrm{argmax}p(x,z)$ 因为, $p(z|x)=\frac{p(x,z)}{p(x)}\propto p(x,z)$

因为我们的目标是求一个最优的参数 $z$，并不需要知道具体的数值是多少，只要知道谁大谁小就行，所以 $p(x)$ 可以直接不看了。
现在我们知道了，Inference 在求什么？下一步，我们要总结Inference 有哪些方法。

============ 推断============

求边缘，条件和MAP
1 背景

1.1 Inference 求解方法

1.1.1 精准推断(Deterministic Inference)

• Variable Elimination (VE)：变量消除法；
• Belief Propagation (BP)： 信念传播，这个可不是我们之前学习的反向传播算法，这里需要注意。同时这个算法衍生出的Sum Product Algorithm，这就是推断的核心，这是一种树结构的；
• Junction Tree Algorithm：这是一种普通图结构。

1.1.2 近似推断(Approximate Inference)

• 典型的有有向环(Loop Belief Propagation)；
• 采样方法，包括Mente Carlo Inference：Importance Sampling，MCMC——随机近似；
• 变分推断(Variational Inference)——确定性近似。

1.2 隐马尔可夫模型(Hidden Markov Model)

Hidden Markov Model (HMM) 算法将在后面的章节中做详细的描述，在这一小节中，我们主要做一点概述性的描述。HMM 的模型可视化为上图所示，其中 I 是隐变量，O 也就是我们的观测变量。

我们主要考虑三个问题，在三个问题为 Inference 的问题。

1. Evaluation，也就是求一个边缘密度 $p(O)={\sum }_{I}P(I,O)$。
2. Learning，也就是寻找 ${\hat{\lambda }}_{\circ }$
3. Decoding: $\hat{I}={\mathrm{argmax}}_I$，包括Vitebi Algorithm，这是一个动态规划算法。而隐马尔可夫模型实际上一种动态规划模型(Dynamic Bayesian Network)。

2 变量消除：Variable Elimination

在上一小节中，我们简单的介绍了推断的背景和分类，我们知道了大致有哪些推断的方法。推断的任务可以被我们介绍为：给定已知的 $p(x)=p(x_1,x_2,\cdots ,x_p)$，我们需要求的有三个：

1. 边缘概率： $p\left(x_i\right)={\sum }_{x_1,\cdots ,x_{i-1},x_{i+1},\cdots ,x_p}p\left(x_1,x_2,\cdots ,x_p\right)$
2. 条件概率： $p(x_A|x_B)$，也就是在已知 $x_B$​ 集合的情况下，如何求得 $x_A$ 集合的概率。
3. 最大后验概率(MAP)： ${\hat{x}}_A={\mathrm{argmax}}_{x_A}p\left(x_A|x_B\right)=\mathrm{argmax}p\left(x_A,x_B\right)$。

下面我们要介绍最简单的一个精确推断中的东西，名为变量消除法(Variable Elimination)。这是一种最简单的推断方法，也是我们学习推断法的核心概念之一。下面我们做详细的解释。

2.1变量消除法(Variable Elimination Algorithm)

假如我们有一个马氏链：

那么我们怎么来求 $p(d)$ 呢？根据公式我们可以得到：$$p(d)=\sum _{a,b,c}p(a,b,c,d)$$
然后使用因子分解，我们可以得到： $$p(d)=\sum _{a,b,c}p(a)p(b|a)p(c|b)p(d|c)$$
假定，$a,b,c,d$ 都为均匀离散的二值random variable，所以 $a,b,c,d\in 0,1$。
所以，
$$\begin{array}{rl}p(d)& =p(a=0)\cdot p(b=0|a=0)\cdot p(c=0|b=0)\cdot p(d|c=0)\\ & +p(a=1)\cdot p(b=0|a=1)\cdot p(c=0|b=0)\cdot p(d|c=0)\\ & +\cdots \\ & +p(a=1)\cdot p(b=1|a=1)\cdot p(c=1|b=1)\cdot p(d|c=1)\end{array})$$实际上，这里有8 个因子的积。那么我们来做进一步的分析，我们可以令
$$\begin{array}{rl}p(d)& =\sum _{a,b,c}p(a)p(b|a)p(c|b)p(d|c)\\ & =\sum _{b,c}p(c|b)p(d|c)\sum _{a}p(a)p(b|a)\end{array}$$，而 ${\sum }_{a}p(a)p(b|a)=p(a,b)$。我们可以将 $a$ 看成 $\varphi (a)$ 这是一个和 $a$ 相关的函数，同理 $p(b|a)$ 看成 $\varphi (a,b)$ 。所以，我们可以将 ${\sum }_{a}p(a)p(b|a)$ 看成 ${\varphi }_a(b)$，这样就相当于一个关于 $b$ 的函数，并且是从 $a$ 中导出的。所以，我们做如下替换可得：
$$\begin{array}{rl}\sum _{b,c}p(c|b)p(d|c)\sum _{a}p(a)p(b|a)& =\sum _{b,c}p(c|b)p(d|c){\varphi }_{a}b\\ & =\sum _{c}p(d|c)\sum _{b}p(c|b){\varphi }_{a}b\\ & =\sum _{c}p(d|c){\varphi }_{b}c\\ & ={\varphi }_{c}d\end{array}$$
同理，我们将 ${\sum }_{b}p(c|b)$ 看成 ${\varphi }_b(c)$。所以，原始将被改写为： ${\sum }_{c}p(d|c){\varphi }_b(c)={\varphi }_b(c)$

这个算法的核心就是乘法对加法的分配律。那我们怎么类比到乘法的分配律呢？首先先来简单的回顾一下乘法的分配律，也就是 $ac+ab=a(b+c)$ 。那么我们仔细的来看看这个计算 $p(d)$ 的过程。这是不是就是一个不断的提取公因子，进行计算的过程？有没有觉得和分配律很像？先提取 $a$ 的部分，计算 $a$ 的部分，然后再依次的提取 $b$ 的部分， $c$ 的部分，最后剩下的就是 $d$ 的部分。那么，我们就可以把这么一长串的公式进行逐步化简了，这就是变量消元的思想。同样，在无向图中，我们也可以使用到马尔可夫网络中。

将其推广到无向图：
$$p(a,b,c,d)=\frac{1}{z}\prod _{i=1}^k{\varphi }_{c_i}(x_{c_i})$$
写成因子分解的形式就是 $p(x)={\prod }_{x_i}{\varphi }_i(x_i)$ , 使用最大团分解

由于是最大团，不能再添加其他结点，因此团与团的联系较小，同时每一个结点几乎不可能同时存在于所有团，因此同样可以使用Variable Elimination方法进行计算

这实际上就是分配律，一个变量一个变量的提取，然后进行分解计算。同时这种算法的缺点也非常的明显。

首先，就是重复计算的问题，无论计算那个变量的概率都要重复的计算一遍所有的概率。这个原因就会导致算法的计算难度非常的大。第二个就是计算次序的问题，我们举的例子还比较的简单，所以我们可以一眼就看出来，按 $a-b-c-d$ 的次序开始算。但是，实际上，并没有这么容易就得到计算的次序，而且计算次序不一样会导致计算的难度有很大的区别。而有数学家已经证明了，确定最优的计算顺序，本身就是一个NP hard 的问题，非常难求解。

3 Belief Propagation：信念传播

在上一小节中，我们已经介绍了变量消除(Variable Elimination)，Variable Elimination 的思想是 Probability Graph 中的核心思想之一。上一节中我们就已经介绍了，这实际上就是乘法对加法的分配律。但是，Variable Elimination 中有很多的问题，比如重复计算和最优计算次序不好确定的问题。所以，我们这一节来介绍 Belief Propagation 来解决重复计算的问题。

3.1 Forward and Backward Algorithm

假设，我们现在有一个马氏链模型：

联合概率可以被我们表示为： $p(a,b,c,d,e)=p(a)\cdot p(b|a)\cdot p(c|b)\cdot p(d|c)\cdot p(e|d)$。
如果，我们想要求的是 $p(e)$，那么：
$$\begin{array}{l}p(e)={\sum }_{a,b,c,d}p(a,b,c,d,e)\\ \\ ={\sum }_{d}p(e|d)\cdot {\sum }_{c}p(d|c)\cdot {\sum }_{b}p(c|b)\cdot {\sum }_{a}p(b|a)\cdot p(a)\end{array}$$
为了简化表达，这里我们需要定义一个很重要的符号。因为 ${\sum }_{a}p(b|a)\cdot p(a)$，是一个关于 $b$ 的表达式，也就是相当于把 $a$ 给约掉了。所以我们可以把 ${\sum }_{a}p(b|a)\cdot p(a)$记为 $m_{a\to b}(b)$。同理，我们也可以将 ${\sum }_{c}p(d|c)\cdot {\sum }_{b}p(c|b)\cdot m_{a\to b}(b)$记为 $m_{b\to c}(c)$。那么为了求得 $p(e)$ ，我们依次的求解顺序为 $m_{a\to b}(b)$， $m_{b\to c}(c)$， $m_{c\to d}(d)$和 $m_{d\to e}(e)$。也就相当于沿着这个链这个马氏链一直往前走，也就是前向算法(Forward Algorithm)。我们用公式表达即为：

如果是要求 $p(c)$，那么我们的传递过程为 $a\to b\to c\leftarrow d\leftarrow e$。这里，我们就不能只用前向算法来解决了，需要用到 Forward-Backward 算法来解决了。也就是同时使用Forward 和Backward的方法，那么我们来看看 $p(c)$ 怎么求？
$$\begin{array}{rl}p(c)& =\sum _{a,b,d,e}p(a,b,c,d,e)\\ & \\ & =(\sum _{b}p(c|b)\sum _{a}p(b|a)p(a))\cdot (\sum _{d}p(d|c)\sum _{e}p(e|d))\end{array}$$

对比上面的计算 $p(e)$ 的过程，我们就可以发现， ${\sum }_{b}p(c|b){\sum }_{a}p(b|a)p(a)$部分的计算也就是 $m_{b\to c}(c)$的计算是一模一样的。所以说，Variable Elimination 里面有大量的重复计算。Belief 的想法很简单，也就是将 $m_{i\to j}(j)$，全部事先计算好，就像一个个积木一样，然后再用这个积木来搭建运算。那么也就是，我们事先将方向全部定义好，正向和反向的全部都求了再说。为了进一步探究Belief Background，我们需要讨论一些更加Generalize 的情况。也就是从 $Chain\to Tree$ ，有向 $\to$ 无项的情况。

3.2 Belief Propagation 的扩展

我们的Generalize 的后，分析了一个树形的无向图结构。图的网络结构如下所示：

下面第一步，我们把上面那个模型的设置写出来。所以，我们需要进行因式分解，我们用 $\phi (i)$ 来表示和 $i$ 有关的部分。所以，我们可以将联合概率密度写为： $$p(a,b,c,d)=\frac{1}{Z}{\phi }_a(a){\phi }_b(b){\phi }_c(c){\phi }_d(d)\cdot {\phi }_{a,b}(a,b){\phi }_{b,c}(b,c){\phi }_{b,d}(b,d)$$
我们要求 $p(a)={\sum }_{b,c,d}p(a,b,c,d)$ 和 $p(b)={\sum }_{a,c,d}p(a,b,c,d)$，其间一定会出现大量的重复计算。这个模型中有四个点，三条边，每条边都有两个方向，所以我们要求的是6 个“积木”。我们来一步步
的看看，如何可以得到想要的 $p(a)$ 。

1. 首先，我们需要求的是 $c\to b$ 和 $d\to b$两个过程。其中， $c\to b$的过程也就是 $m_{c\to b}(b)$可以被我们表达为 ${\sum }_c{\phi }_c\cdot {\phi }_{b,c}$。同理， $m_{d\to b}(b)$可以被我们表达为 ${\sum }_d{\phi }_b\cdot {\phi }_{b,d}$
2. 第二步，我们需要求 $b\to a$的过程，也就是 $m_{b\to a}(a)$。它等于 $m_{c\to b}(b)$， $m_{d\to b}(b)$乘上 $b$ 己的部分求和得到，我们可以写为： $$m_{b\to a}(a)=\sum _b{m}_{c\to b}(b)\cdot {\phi }_b\cdot {\phi }_{a,b}\cdot m_{d\to b}(b)$$
3. 最后， $m_{b\to a}(a)$ 乘上 a 自己的部分就得到了 $p(a)$，也就是： $p(a)={\phi }_a\cdot m_{b\to a}(a)$。
   所以，我们总结一下：
   $$m_{b\to a}(x_a)=\sum _{x_b}{\phi }_{a,b}{\phi }_b{m}_{c\to b}(x_b)m_{d\to b}(x_b)$$ 而 $p(a)={\phi }_a\cdot m_{b\to a}(a)$。

我相信到这里，大家应该是可以理解这个意思的，会有点抽象，但并不是很难。下一步我想做个 Generalize 为了便于大家进行理解，我这里尽量不跳步：
m b → a ( x a ) = ∑ x b φ a , b φ b ∏ { k ∈ N B ( b ) } − a m k → b ( x b ) m _ { b \rightarrow a } ( x _ { a } ) = \sum _ { x _ { b } } \varphi _ { a , b } \varphi _ { b } \prod _ { \{ k \in N B ( b ) \} - a } m _ { k \rightarrow b } ( x _ { b } ) mb→a​(xa​)=xb​∑​φa,b​φb​{k∈NB(b)}−a∏​mk→b​(xb​)
这里的 NB(b) 代表的是所有节点 b 的邻接节点。我们可以进一步表示为：

$$\begin{gathered} m_{j\to i}(x_i)=\sum _{x_j}{\phi }_{i,j}{\phi }_j\prod _{ \\ k\in NB(j) \\ -i}{m}_{k\to j}(x_j) \end{gathered}$$而
$$p(x_i)={\phi }_i\prod _{k\in NB(i)}{m}_{k\to i}(x_i)$$
通过对上面表达式的观察，我们是不是发现了一个很有意思的现象。也就是这些概率都是由 $m_{i\to j}$ 这样的小积木拼接起来的。

所以我们可以get a conclusion：我们不要一上来就直接去求边缘概率密度，比如 $p(a),p(b),p(c),p(d)$ 这些的。我们可以先建立一个Cache，存储中间结果，即只需求$m_{i\to j}$ 。然后，要求什么的话，直接进行搭建和拼接就可以了。

从这里，我们就引出了Belief Propagation。
$BP=VE+cach$
cach是计算所有的 $m_{j->i}$，因此 BP 是指直接求所有 $m_{j->i}$ 并导出边缘概率，这一过程也是图的遍历

以下介绍两种BP算法：

3.2.1 Sequential Implementation

顺序计算的思路，我们需要借助一个队列来实现：

1. Get Root: 首先我们需要假设一个节点为根节点。
2. Collect Message: 对于每一个在根节点的邻接点中的节点 $x_i$，Collect Message ( $x_i$​)。对应的就是图2 中蓝色的线条。
3. Distribute Message: 对于每一个在根节点的邻接点中的节点 $x_i$ Distribute Message ( $x_i$)。对应的就是图2 中红色的线条。

经过这三个步骤以后，我们可以得到所有的 $i,j\in v$，从而计算出 $p(x_k),k\in v$。

3.2.2 Parallel Implementation

这种思想在图结构的网络中经常使用，大致也就是随意选一个节点，然后向四周其他的节点辐射信息。其他节点收到信息之后，更新自己的状态，然后反馈自己的信息给源节点，源节点再更新自己的信息。不断地重复这个工作，直到最后收敛为止。

3.3 小结

实际上，Belief Propagation 就是一种Variable Elimination。但是，我们发现了Variable Elimination中有很多的重复计算。所以，我们想到了提取出来先算好，要用的时候直接放进去就行了。所以，Belief Propagation 中分解了传递的过程，先计算消息传递的机制，再来组装出计算边缘概率。其实本质还是Variable Elimination 算法，不过就是使表达更加的规范了，通过拆解的方法来消除重复计算。
BP算法的优点：

• 缓存 $m_{i\to j}$，减少重复计算，时间复杂度低
• 计算 $m_{i\to j}$ 的过程中不想干的分支可以进行并行计算

4 Max Product Algorithm

我们在这里再总结一下概率图模型有什么用。对于一个图，Graph ={undefined $X,E$}，其中 $X$ 代表的是普通变量， $E$ 代表的是
Evidence，也就是观测变量。

1. 首先要解决的是边缘变量的问题，也就是已知： $E=${ $e_1,e_2,\cdots ,e_k$​}，如何求 $p(E)$ 的问题，其中 $E$ 为一个变量或者为一个子集。实际上就是一个likelihood 的问题。
2. 条件概率，也就是一个求后验概率的问题，目标概率为 $X=(Y;Z)$。而 $p(Y|E)={\sum }_{z}p(X|E)$。
3. 最大后验估计(MAP)，也被我们称为Decoding 的问题。也就是我们希望找到一个隐序列，使得： $\hat{x}=argma{x}_{x}p(X|E)，\hat{y}=argma{x}_{y}p(Y|E)$。

这里的Max-Product 算法和隐马尔可夫模型(HMM) 中的Viterbi 算法非常的类似。其实，从算法上讲它就是Belief Propagation 算法的一种改进，从模型上讲是Viterbi 算法的推广。在这里我们求的不是概率值了，而是一个最优的概率序列 $(\hat{a},\hat{b},\hat{c},\hat{d})={\mathrm{argmax}}_{a,b,c,d}$。

Max-Product 思想与 Vitebi 思想的对比？
https://www.zhihu.com/people/vfrz/posts?page=1

4.1 Max Product Algorithm

下面展示一个树的拓扑结构图。

在这个树中，我们将 $m_{b\to a}$​ 看成是能使 $p(x_a,x_b,x_c,x_d|E)$ 联合概率达到最大的值。每一个节点代表的是到这个节点为止的路径联合概率达到最大的值。我们表达为： $$m_{j\to i}=\underset{x_j}{\max }{\varphi }_j{\varphi }_{ij}\prod _{k\in Neighbour(j)-i}{m}_{k\to j}$$那么，在图一所示的概率图模型中， $m_{c\to b}$ 可以表示为： $$m_{c\to b}=\underset{x_c}{\max }{\phi }_c\cdot {\phi }_{bc}$$其中，${\phi }_c\cdot {\phi }_{bc}$ 可以表示为和 $c$ 相关的函数。
$$m_{d\to b}=\underset{x_d}{\max }{\phi }_d\cdot {\phi }_{bd}$$其中， ${\phi }_d\cdot {\phi }_{bd}$可以表示为和 $d$ 相关的函数。
$$m_{b\to a}=\underset{x_b}{\max }{\phi }_b\cdot {\phi }_{ab}\cdot m_{c\to b}\cdot m_{d\to b}$$最终，我们将得到的是： $$p(a,b,c,d)=\underset{x_a}{\max }{\phi }_a\cdot m_{b\to a}$$而 ${\phi }_a\cdot m_{b\to a}$​ 就可以看成是一个关于 $a$ 的函数。这里我们再提一下Belief Propagation，这里的Max-Product 实际上就是Belief Propagation 的一个变形。

4.2 Belief Propagation

实际上这个算法的提出时因为，多次求边缘概率密度会发现中间有很多的步骤是重复的。我们用 $m_{i\to j}$ 记录每一个边缘概率，最后进行组合就行。所以，
m j → i ( x i ) = ∑ x j φ i , j ( x i , x j ) φ j ( x j ) ∏ { k ∈ N B ( j ) } − i m k → j ( x j ) \begin{array} { c } { m _ { j \rightarrow i } ( x _ { i } ) = \sum _ { x _ { j } } \varphi _ { i , j } ( x _ { i } , x _ { j } ) \varphi _ { j } ( x _ { j } ) \prod _ { \{ k \in N B ( j ) \} -i } m _ { k \rightarrow j } ( x _ { j } ) } \end{array} mj→i​(xi​)=∑xj​​φi,j​(xi​,xj​)φj​(xj​)∏{k∈NB(j)}−i​mk→j​(xj​)​$$\begin{array}{c}p(x_i)=\phi (x_i){\prod }_{k\in NB(x_i)}{m}_{k\to i}|(x_i)\end{array}$$

4.3 Compare

其实，我们一比较就可以很简单的看出，Max-product 和 Belief Propagation 只有一个地方不一样。那就是前者是求最大，后者是求和。也就是Max-product 到Sum-product。在求得了 $\max p(a,b,c,d)={\max }_{x_a}{\phi }_a{m}_{b\to a}$之后，我们利用回溯法我们比较就可以比较简单的得到 $x_a^{\ast },x_b^{\ast },x_c^{\ast },x_d^{\ast }$​了。在这个算法中，我们就不需要事先计算 $m_{i\to j}$​ 了，直接在迭代中进行计算就可以了，也不会存在什么重复计算的问题。

============ 道德图============

5 Moral Graph & Factor Graph

在这一小节中，我们将要介绍两种特殊的概率结构，也就是Moral Graph 和Factor Graph

5.1 道德图（Moral Graph）

首先我们需要知道，为什么要有Moral Graph 的存在？Moral Graph 存在的意义就是将有向图转化为无向图来研究。因为无向图比有向图更加的Generalize 一些。在概率图中，我们可以分为贝叶斯网络(有向图) 和马尔可夫网络(无向图)。
无向图可以表示为： $$\begin{array}{l}p(x)=\frac{1}{z}{\prod }_{i=1}^k{\varphi }_{c_i}(x_{c_i})\end{array}$$
有向图可以表示为： $$\begin{array}{l}p(x)={\prod }_{i=1}^{p}p(x_i|x_{pa(i)})\end{array}$$
其中， ${\varphi }_{c_i}$​​ 代表的是最大团的意思。通过道德图，我们可以有效的将有向图转换为无向图。

1. 链式网络：
   
   其中， $p(a,b,c)=p(a)p(b|a)p(c|b)$。如果，把有向图转换成无向图是一件非常简单的事情，首先把所有的线条换成直线。由于在无向图中，我们考虑的是最大团，所以 $p(a)p(b|a)=\phi (a,b)$， $p(c|b)=\phi (b,c)$。这个的转换是非常的简单了。
2. Tail to Tail 的图
   
   其中，$p(a,b,c)=p(a)p(b|a)p(c|a)$。还是按照一样的套路，首先把所有的有向箭头改成直线。那么我们就可以得到 $p(a)p(b|a)=\varphi (a，b)，p(c|a)=\varphi (a|c)$。其中{ $a,c$ } 和 { $b,c$ } 是分别属于两个团。这个也比较的简单，但是Head to Head 的转换就有点不一样了。
3. Head to Head
   
   同样我们使用一样的分析思路来看这个问题， $p(a,b,c)=p(a)p(b)p(c|a,b)$。我们进行拆解的话，只能令 $p(a)p(b)p(c|a;b)=\phi (a,b,c)$，不然再也找不到其他的拆解方法。但是，如果简单的将模型中所有的有向箭头改成直线得到的并不是一个团。因为“团” 的概念的要求，团里面的元素都要求是两两相互连接的。所以，我们需要进行改进，将Head to Head 的无向图形式改进为：
   
   那么，将Head to Head 的有向图转换为无向图的过程可以被我们描述为：
   对于 $x_i\in G$，将 $parent(x_i)$ 的两个父亲节点连接，然后将G 中所有的有向边替换成无向边。下面我们举一个例子：
   
   而我们将有向图转换成无向图之后，有什么好处吗？也就是在判断条件独立性的时候，有时图形非常复杂的时候。我们在有向图中很难看出来，而在无向图中却可以很简单的得到我们想要的结果。也就是

5.2 因子图（Factor Graph）

在上一小节中，我们介绍了道德图(Moral Graph)，它的主要作用是将有向图转换为无向图。我们考虑的都是树结构，但是在Head to Head 结构中，会引入环的结构。但是，在我们的Belief Propagation(BP) 算法中，只能对树进行分解。所以，这里我们就引入了因子图。
因子图主要发挥两个作用：

1. 去环，也就是消除无向图中的环结构；
2. 使算法变得更加的简洁，简化计算。

如图二表达的那样，他的有向图和无向图的联合概率可以分别表达为：
$$p(a,b,c)=p(a)p(b|a)p(c|a)$$$$p(a,b,c)=\frac{1}{Z}\varphi (a,b)\varphi (a,c)$$那什么是因子图分解呢？公式表达可以被我们表示为：$$p(x)=\prod _{s}p(x_S)$$其中，S 是图的节点子集， $X_S$​ 为对应的X 的子集，也就是X 的随机变量的子集。那么对于一个如图4 所示的有环无向图，我们怎么进行因子图分解呢？

首先进行第一种分解，如下图所示：

这时可以被我们描述为， $f=f(a,b,c)$。或者我们也可以进行更细的分解。如下图所示：

这个分解的结果可以被我们表示为：
$$p(x)=f_1(a,b)f_2(a,c)f_3(b,c)$$不仅是可以在两个节点之间插入关系，同时也可以对于单个节点引入函数。

那么这个分解结果可以被我们表示为：
$$p(x)=f_1(a,b)f_2(a,c)f_3(b,c)f_a(a)f_b(b)$$实际上，就可以看成是对因式分解的进一步分解。这样我们就可以成功的消除环结构。如下图所示：

所以，大家仔细一想就知道了因子图存在的意义了，它可以有效的消除环结构，通过一个重构的方式，重建出树的结构。这样可以有效的帮助我们使用Belief Propagation 中的变量消除法等方法。从上面可以看出概率图的分解方式不一样，对应的因子图也就不一致。

版权声明：本文为CSDN博主「AI路上的小白」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/cengjing12/article/details/106480582