机器学习-白板推导系列(九)-概率图模型之推断（Probability Graph）

9. 概率图模型之推断

9.7 推断Inference-总体介绍

1. 定义
   推断(Inference)这个词，对于学过机器学习的同学来说，一定听说，这也是贝叶斯方法中一个非常重要的理论性研究。那么什么是推断呢？推断就是$求概率$。比如，对联合概率密度函数$p(x)=p(x_1,x_2,\cdots ,x_p)$。我们需要求的有哪些呢？

   1. 边缘概率：$p(x_i)={\sum }_{x_1}\cdots {\sum }_{x_{i-1}}\cdots {\sum }_{x_{i+1}}\cdots {\sum }_{x_p}p(x)$。
   2. 条件概率：$p(x_A|x_B)$，令$x=x_A\cup x_B$。
   3. MAP Inference(最大后验概率推断)：也就是$\hat{z}=argma{x}_{z}p(z|x)\propto argmaxp(x,z)$。$p(z|x)=\frac{p(x,z)}{p(x)}\propto p(x,z)$是因为目标是求最优的参数$z$，所以$p(x)$可以不看。

2. Inference求解方法

   • 精确推断：
     • Variable Elimination(VE，变量消除法)(针对树结构)；
     • Belief Propagation(BP，信念传播，又称Sum-Product Algorithm)(针对树结构)；
     • Junction Tree Algorithm(针对图结构，是BP算法在普通图结构上的扩展)
   • 近似推断：
     • Loop Belief Propagation(针对有环图)；
     • Mente Carlo Inference（基于采样问题）(例如：Importance Sampling，MCMC)；
     • Variational Inference（变分推断）

3. 举例：隐马尔可夫模型(Hidden Markov Model)
   Hidden Markov Model (HMM)算法将在后面做详细的描述，在这一小节中，主要进行概述。HMM的模型可视化为上图所示，其中$O$是隐变量，也就是我们的观测变量。
   
   我们主要考虑三个问题，在三个问题为Inference的问题：

   1. Evaluation，求边缘密度$P(O)={\sum }_{I}P(I,O)$。 计算量非常大，可采用两种算法：
      • 前向：使用递推式从前往后走
      • 后向：从最后一个时刻往前走
   2. Learning，也就是寻找$\hat{\lambda }$。
   3. Decoding：$\hat{I}=argma{x}_{I}P(I|O)$，属于MAP Inference，包括Vitebi Algorithm，这是一个动态规划算法。

   隐马尔可夫模型实际上一种动态规划模型(Dynamic Bayesian Network)。

---

9.8 推断Inference-Variable Elimination

上一小节介绍了推断的背景和分类，我们知道大致推断的方法。推断的任务为：给定已知的$p(x)=(x_1,x_2,\cdots ,x_p)$，求：

1. 边缘概率：$p(x_i)={\sum }_{x_1,\cdots ,x_{i-1},x_{i+1},\cdots ,x_p}p(x_1,x_2,\cdots ,x_p)$。
2. 条件概率：$p(x_A|x_B)$，也就是在已知$x_B$集合的情况下，如何求得$x_A$集合的概率。
3. 最大后验概率(MAP)：${\hat{x}}_A=argma{x}_{x_A}p(x_A|x_B)=argmaxp(x_A,x_B)$。

下面介绍最简单的一个精确推断，名为变量消除法(Variable Elimination)。虽然简单，也是推断法的核心概念之一。

1. 问题描述
   假如我们有一个马氏链：
   
   对于上述图结构，假如我们希望求边缘概率$p(d)$，根据公式我们可以得到：
   $$p(d)=\sum _{a,b,c}p(a,b,c,d).\text{\hspace{1em}(9.8.1)}$$
   然后使用因子分解，我们可以得到：
   $$p(d)=\sum _{a,b,c}p(a)p(b|a)p(c|b)p(d|c).\text{\hspace{1em}(9.8.2)}$$
   假定，$a,b,c,d$都为均匀离散的二值random variable，所以 a , b , c , d ∈ { 0 , 1 } a,b,c,d\in \{0,1\} a,b,c,d∈{0,1}。所以将P(d)展开：
   $$\begin{gathered} P(d)=\sum _{a,b,c}P(a,b,c,d)=\sum _{a,b,c}P(a)P(b|a)P(c|b)P(d|c) \\ =P(a=0)P(b=0|a=0)P(c=0|b=0)P(d|c=0) \\ +P(a=0)P(b=0|a=0)P(c=1|b=0)P(d|c=1) \\ +P(a=0)P(b=1|a=0)P(c=0|b=1)P(d|c=0) \\ +P(a=0)P(b=1|a=0)P(c=1|b=1)P(d|c=1) \\ +P(a=1)P(b=0|a=1)P(c=0|b=0)P(d|c=0) \\ +P(a=1)P(b=0|a=1)P(c=1|b=0)P(d|c=1) \\ +P(a=1)P(b=1|a=1)P(c=0|b=1)P(d|c=0) \\ +P(a=1)P(b=1|a=1)P(c=1|b=1)P(d|c=1)=8\cdot 因子积.\text{\hspace{1em}(9.8.3)} \end{gathered}$$
   可以看出计算非常复杂，若变量取值有$k$个，变量个数为$p$个，则计算复杂度为$k^p$。
2. 计算
   如果（9.8.3）直接计算，每一项再加起来就会需要相当大的计算量。变量消除法就是根据某些节点只与图中自己的邻接节点有关这一特性来简化计算，相当于应用了$乘法分配律$（$ab+ac=a(b+c)$）来避免计算每一项在加起来。变量消除法在上式中的计算过程为：
   $$\begin{gathered} P(d)=(将与a有关的放到一起) \\ =P(c=0|b=0)P(d|c=0)\cdot P(a=0)P(b=0|a=0) \\ +P(c=1|b=0)P(d|c=1)\cdot P(a=0)P(b=0|a=0) \\ +P(c=0|b=1)P(d|c=0)\cdot P(a=0)P(b=1|a=0) \\ +P(c=1|b=1)P(d|c=1)\cdot P(a=0)P(b=1|a=0) \\ +P(c=0|b=0)P(d|c=0)\cdot P(a=1)P(b=0|a=1) \\ +P(c=1|b=0)P(d|c=1)\cdot P(a=1)P(b=0|a=1) \\ +P(c=0|b=1)P(d|c=0)\cdot P(a=1)P(b=1|a=1) \\ +P(c=1|b=1)P(d|c=1)\cdot P(a=1)P(b=1|a=1) \\ (应用乘法分配律) \\ =P(c=0|b=0)P(d|c=0)\cdot {\varphi }_a(b=0)+P(c=1|b=0)P(d|c=1)\cdot {\varphi }_a(b=0) \\ +P(c=0|b=1)P(d|c=0)\cdot {\varphi }_a(b=1)+P(c=1|b=1)P(d|c=1)\cdot {\varphi }_a(b=1) \\ (将与b有关的放到一起) \\ =P(d|c=0)\cdot P(c=0|b=0){\varphi }_a(b=0)+P(d|c=1)\cdot P(c=1|b=0){\varphi }_a(b=0) \\ +P(d|c=0)\cdot P(c=0|b=1){\varphi }_a(b=1)+P(d|c=1)\cdot P(c=1|b=1){\varphi }_a(b=1) \\ (应用乘法分配律) \\ =P(d|c=0)\cdot {\varphi }_b(c=0)+P(d|c=1)\cdot {\varphi }_b(c=1)={\varphi }_c(d).\text{\hspace{1em}(9.8.4)} \end{gathered}$$
   我们就可以把这么一长串的公式进行逐步化简了，这就是变量消元的思想。
3. 推广
   • 上述都以链为例，将其推广到图：
     • 先使用因子分解
     • 然后逐步针对每一个结点，对与之相关的概率先计算
       主要思想还是$分配率$！
   • 同样在无向图中，我们也可以使用到马尔可夫网络中。使用最大团分解：
     $$p(a,b,c,d)=\frac{1}{z}\prod _{i=1}^k{\varphi }_{c_i}(x_{c_i}).\text{\hspace{1em}(9.8.5)}$$
     由于是最大团，不能再添加其他结点，因此团与团的联系较小，同时每一个结点几乎不可能同时存在于所有团，因此同样可以使用Variable Elimination方法进行计算。
4. 局限性
   • 计算重复性
     上述例子只计算了结点$d$，若需要计算其他结点，又要重新计算，每次计算的中间结果没有存储，导致重复计算。
   • 计算次序
     变量消除的次序会决定时间复杂度，最优次序的寻找已被证明是一个NP-Hard问题，因此也可以使用一些启发式思想进行次序选择。

---

9.9 推断Inference-Belief Propagation(1)

上一小节介绍了变量消除(Variable Elimination)（核心是：$乘法对加法的分配律$），Variable Elimination的思想是Probability Graph中的核心思想之一。但Variable Elimination中存在重复计算和最优计算次序不好确定的问题。所以，这一节介绍Belief Propagation来解决重复计算的问题。

9.9.1 Belief Propagation思想（Variable Elimination的计算重复问题）

对于下图马氏链模型：

• 已知联合概率：
  $$P(a,b,c,d,e)=P(a)P(b|a)P(c|b)P(d|c)P(e|d).\text{\hspace{1em}(9.9.1)}$$
• 计算$P(e)$的边缘概率时，使用变量消除法的步骤如下：
  $$\begin{array}{l}P(e)={\sum }_{a,b,c,d}P(a,b,c,d,e)\\ ={\sum }_{d}P(e|d){\sum }_{c}P(d|c){\sum }_{b}P(c|b){\sum }_{a}P(b|a)P(a)\\ ={\sum }_{d}P(e|d){\sum }_{c}P(d|c){\sum }_{b}P(c|b)m_{a\to b}(b)\\ ={\sum }_{d}P(e|d){\sum }_{c}P(d|c)m_{b\to c}(c)\\ ={\sum }_{d}P(e|d)m_{c\to d}(d)\\ =m_{d\to e}(e)\end{array}.\text{\hspace{1em}(9.9.2)}$$
  相当于沿着这个链这个马氏链一直往前走，也就是$前向算法(ForwardAlgorithm)$。我们用公式表达即为：
  $$a\stackrel{m_{a⟶b}(b)}{⟶}b\stackrel{m_{b⟶c}(c)}{⟶}c\stackrel{m_{c⟶d}(d)}{⟶}d\stackrel{m_{d⟶e}(e)}{⟶}e.\text{\hspace{1em}(9.9.3)}$$
• 计算$P(c)$的边缘概率时，使用变量消除法的步骤如下：
  $$\begin{gathered} P(c)=\sum _{a,b,d,e}P(a,b,c,d,e) \\ =\sum _{a,b,d,e}P(a)P(b|a)P(c|b)P(d|c)P(e|d) \\ =(\sum _{b}P(c|b)\sum _{a}P(b|a)P(a))\cdot (\sum _{c}P(d|c)\sum _{d}P(e|d)).\text{\hspace{1em}(9.9.4)} \end{gathered}$$
  这里，我们就不仅用$前向算法$来解决了，需要用到$Forward-Backward算法$来解决了。传递过程为:$a⟶b⟶c⟵d⟵e$。
  $$a\stackrel{m_{a⟶b}(b)}{⟶}b\stackrel{m_{b⟶c}(c)}{⟶}c\stackrel{m_{c⟵d}(c)}{⟵}d\stackrel{m_{d⟵e}(d)}{⟵}e.\text{\hspace{1em}(9.9.5)}$$
• 对比上面的计算$p(e)$的过程，可以发现，${\sum }_{b}p(c|b){\sum }_{a}p(b|a)p(a)$部分($m_{b⟶c}(c)$)是一模一样的。所以Variable Elimination里面有大量的重复计算。Belief的想法就是将$m_{i⟶j}(j)$ 全部事先计算好，就像一个个积木一样，然后再用这个积木来搭建运算。 那么也就是：事先将方向全部定义好，正向和反向的全部都求了再说。为了进一步探究Belief Background，我们需要讨论更加Generalize的情况：$从Chain⟶Tree$，$有向⟶无项$的情况。

9.9.2 Belief Propagation的扩展

Generalize后，分析了一个树形的无向图结构。图的网络结构如下所示：

该图的联合概率的因子分解可以写为：
$$P(a,b,c,d)=\frac{1}{Z}{\psi }_a(a){\psi }_b(b){\psi }_c(c){\psi }_d(d)\cdot {\psi }_{ab}(a,b){\psi }_{bc}(b,c){\psi }_{bd}(b,d).\text{\hspace{1em}(9.9.6)}$$

• 求解边缘概率$P(a)$
  应用到变量消除法，大体步骤是先消去$c$和$d$，然后再消去$b$，该过程如下所示：
  $$p(a)={\psi }_a\underset{m_{b\to a}(a)}{\underbrace{\sum _b{\psi }_b\cdot {\psi }_{ab}(\underset{m_{c\to b}(b)}{\underbrace{\sum _c{\psi }_c\cdot {\psi }_{bc}}})(\underset{m_{d\to b}(b)}{\underbrace{\sum _d{\psi }_d\cdot {\psi }_{bd}}})}}.\text{\hspace{1em}(9.9.7)}$$
  • 求解的过程主要就是求以下两项（这里写得规范一些，比如$a$写作$x_a$）：
    $$\{\begin{array}{c}{m}_{b\to a}(x_a)={\sum }_{x_b}{\psi }_{ab}\cdot {\psi }_b\cdot m_{c\to b}(x_b)\cdot m_{d\to b}(x_b)\\ p(x_a)={\psi }_a\cdot m_{b\to a}(x_a)\end{array}\text{\hspace{1em}(9.9.8)}$$
  • 将求解$x_a$边缘概率的过程抽象出来得到求解$x_i$边缘概率的过程：
    $$\{\begin{array}{c}{m}_{j\to i}(x_i)={\sum }_{x_j}{\psi }_{ij}\cdot {\psi }_j\cdot {\prod }_{k\in Neighbor(j)-i}{m}_{k\to j}(x_j)\\ p(x_i)={\psi }_i\cdot {\prod }_{k\in Neighbor(j)}{m}_{k\to i}(x_i)\end{array}\text{\hspace{1em}(9.9.9)}$$
  • 续观察求解$x_i$边缘概率的公式，并对一些部分做一下定义：
    $$\{\begin{array}{c}{m}_{j\to i}(x_i)={\sum }_{x_j}{\psi }_{ij}\cdot \underset{belief(x_j)}{\underbrace{\underset{self}{\underbrace{{\psi }_j}}\cdot \underset{children}{\underbrace{\prod _{k\in Neighbor(j)-i}{m}_{k\to j}(x_j)}}}}\\ p(x_i)={\psi }_i\cdot {\prod }_{k\in Neighbor(j)}{m}_{k\to i}(x_i)\end{array}\text{\hspace{1em}(9.9.10)}$$
• 总结
  求解$m_{j\to i}(x_i)$需要两步：
  $$\{\begin{array}{c}belief(x_j)=self\cdot children\\ m_{j\to i}(x_i)={\sum }_{x_j}{\psi }_{ij}\cdot belief(x_j)\end{array}\text{\hspace{1em}(9.9.11)}$$
  根据避免重复计算的思路，可得出结论：$不要直接去求边缘概率密度(p(a),p(b),p(c),p(d))$，可以$先建立一个Cache，算出m_{i⟶j}，然后直接进行搭建和拼接。$ 从这里，引出了Belief Propagation（信念传播）。即：
  $$BP=VE+cach$$
  cach是计算所有的$m_{j\to i}$。

---

9.10 推断Inference-Belief Propagation(2)

上节知道了BP(Belief Propagation)算法，BP算法实质是图的遍历或者树的遍历。BP算法的一般过程如下：

1. BP(sequential)
   

   1. Get Root: 首先假设一个节点为根节点。
   2. Collect Message: 对于每一个在根节点的邻接点中的节点$x_i$，Collect Message ($x_i$)。对应图中蓝色的线条。

      for xi in NB(Root):
          Collect Message(xi)
      

   3. Distribute Message: 对于每一个在根节点的邻接点中的节点$x_i$，Distribute Message ($x_i$)。对应图中红色的线条。

      for xi in NB(Root):     
          Distribute Message(xi)
      

   通过以上三步，可得所有的$m_{i\to j}\forall i,j\in V(V是所有点的集合)$，从而求得$P(x_k),k\in V$。

2. BP(Parellel Implementation)
   这种方法采用并行分布式的方法

   1. 随机找一个点 $x$；
   2. 求信息量 （刚开始只有 ${\psi }_x$）；
   3. 向他的邻居结点发生通知，邻居结点收到通知后进行同样的操作；
   4. 然后将消息传递回去。

   最终会收敛，求得所有的$m_{i\to j}$，此方法的优点是可以$并行计算$。

---

9.11 推断Inference-Max Product

1. 概率图模型
   概率图模型是对于一个图，Graph = { X , E } \{ X,E \} {X,E}，其中$X$代表的是普通变量，$E$代表的是Evidence，也就是观测变量。概率图模型需要解决的是：
   1. $边缘变量$
   也就是已知： E = { e 1 , e 2 , ⋯   , e k } E=\{ e_1,e_2,\cdots,e_k \} E={e1​,e2​,⋯,ek​}，如何求$p(E)$的问题，其中$E$为一个变量或者为一个子集。实际上就是一个likelihood的问题。
   2. $条件概率$
   也就是一个求后验概率的问题，目标概率为$X=(Y,Z)$。而$p(Y|E)=\sum _{z}p(X|E)$。
   3. $最大后验估计(MAP)$
   也被我们称为Decoding的问题。也就是我们希望找到一个隐序列，使得：$\hat{x}=\underset{x}{\mathrm{argmax}}P(X|E)$，$\hat{y}=\underset{y}{\mathrm{argmax}}P(Y|E)$。
   Max-Product算法其实：

   • 从算法上是$BeliefPropagation算法的改进$；
   • 从模型上是$HMM中Viterbi算法的推广$。

2. Belief Propagation算法的改进
   对于下图，BP算法和Max Product Algorithm计算$P(x_a)$:
   

   1. 运用Belief Propagation
      $$\{\begin{array}{c}\underset{b\to a}{m}(x_a)=\sum _{x_b}{\psi }_{ab}\cdot {\psi }_b\cdot \underset{c\to b}{m}(x_b)\cdot \underset{d\to b}{m}(x_b)\\ p(x_a)={\psi }_a\cdot \underset{b\to a}{m}(x_a)\end{array}\text{\hspace{1em}(9.11.1)}$$
      即：
      $$p(a)={\psi }_a\underset{m_{b\to a}(a)}{\underbrace{\sum _b{\psi }_b\cdot {\psi }_{ab}(\underset{m_{c\to b}(b)}{\underbrace{\sum _c{\psi }_c\cdot {\psi }_{bc}}})(\underset{m_{d\to b}(b)}{\underbrace{\sum _d{\psi }_d\cdot {\psi }_{bd}}})}}.\text{\hspace{1em}(9.11.2)}$$
   2. 运用Max-Product Algorithm
      求解过程如下：
      $$①m_{c\to b}=\underset{x_c}{\max }{\psi }_c\cdot {\psi }_{bc}.\text{\hspace{1em}(9.11.3)}$$
      把 ${\psi }_c\cdot {\psi }_{bc}$看作是一个关于$x_c$的函数，也就是找到这个函数的最大值。
      $$②m_{d\to b}=\underset{x_d}{\max }{\psi }_d\cdot {\psi }_{bd}.\text{\hspace{1em}(9.11.4)}$$
      把 ${\psi }_d\cdot {\psi }_{bd}$看作是一个关于$x_d$的函数，也就是找到这个函数的最大值。同理：
      $$③m_{b\to a}=\underset{x_b}{\max }{\psi }_b\cdot {\psi }_{ab}\cdot m_{c\to b}\cdot m_{d\to b}.\text{\hspace{1em}(9.11.5)}$$
      最后求解$x_a$，得：
      $$④maxP(x_a,x_b,x_c,x_d)=\underset{x_a}{\max }{\psi }_a\cdot m_{b\to a}.\text{\hspace{1em}(9.11.6)}$$
      因此，Max-Product Algorithm可以写成：
      $$(x_a^{\ast },x_b^{\ast },x_c^{\ast },x_d^{\ast })=\underset{x_a,x_b,x_c,x_d}{\mathrm{argmax}}P(x_a,x_b,x_c,x_d|E).\text{\hspace{1em}(9.11.7)}$$
   3. 总结
      通过公式(9.11.2)和公式(9.11.7)可得：
      • Belief Propagation算法可以看作是$SumProductAlgorithm$,即：
        $$m_{j\to i}(x_i)=\sum _j{\psi }_{i,j}{\psi }_j\prod _{k\in NB(j)}{m}_{k\to j}(x_j).\text{\hspace{1em}(9.11.8)}$$
      • Max-Product Algorithm则可以认为是$SumMaxProductAlgorithm$，即：
        $$m_{j\to i}(x_i)=\underset{j}{\max }{\psi }_{i,j}{\psi }_j\prod _{k\in NB(j)}{m}_{k\to j}(x_j).\text{\hspace{1em}(9.11.9)}$$

3. Viterbi算法的推广
   
   如图在HMM中解决Decoding问题需要求解$Y$的隐状态序列（图中虚线框），即求解：$\hat{Y}=arg\underset{Y}{\max }P(Y|X)$。此问题使用Vitebi算法求解，是一种$动态规划$的思想。

   Viterbi的思路：使用${\delta }_t$代表从时刻$1$到时刻$t$中， 当$Y={\hat{y}}_1,{\hat{y}}_2,\cdots ,{\hat{y}}_t$时对应的最大概率值，然后找到${\delta }_t$与${\delta }_{t+1}$的关系，最终将可以求得最优值${\delta }_T$，之后进行反向tracking，找到最优的状态序列。

   Max-Product Algorithm 思想与Vitebi算法类似，不过是对Vitebi算法的推广，从在链上使用推广到树上使用。所以Max-Product算法其实：

   • 算法上：是$BeliefPropagation算法的改进$；
   • 模型上：是$HMM中Viterbi算法的推广$。

---

9.12 道德图（Moral Graph）

这一小节补充一个概念：道德图（Moral Graph）。引入道德图的原因：$将有向图转为无向图$。转换后将不需要区分有向图和无向图，只需要研究无向图即可。

1. 在概率图中，我们可以分为贝叶斯网络(有向图) 和 马尔可夫网络(无向图)。
   • 无向图可以表示为：
     $$p(x)=\frac{1}{z}\prod _{i=1}^k{\varphi }_{c_i}(x_{c_i}).\text{\hspace{1em}(9.12.1)}$$
   • 有向图可以表示为：
     $$p(x)=\prod _{i=1}^{p}p(x_i|x_{pa(i)}).\text{\hspace{1em}(9.12.2)}$$
     其中，${\varphi }_{c_i}$代表的是最大团的意思。通过道德图，我们可以有效的将有向图转换为无向图。
2. 三种基本有向图转换成无向图
   1. 链式（head to tail）
      $⟶$
      用公式表达为：$$P(A,B,C)=\underset{\varphi (A,B)}{\underbrace{P(A)P(B|A)}}\underset{\varphi (B,C)}{\underbrace{P(C|B)}}.\text{\hspace{1em}(9.12.3)}$$
      这说明A，B和B，C是团，因此可以直接去掉箭头。
   2. V形（tail to tail）
      $⟶$
      用公式表达为：
      $$P(A,B,C)=\underset{\varphi (A,B)}{\underbrace{P(B)P(A|B)}}\underset{\varphi (B,C)}{\underbrace{P(C|B)}}.\text{\hspace{1em}(9.12.4)}$$
      这说明A，B和B，C是团，因此可以直接去掉箭头。
   3. 倒V形（head to head）
      $⟶$
      用公式表达为：
      $$P(A,B,C)=\underset{\varphi (A,B,C)}{\underbrace{P(B|A)P(B)P(B|C)}}.\text{\hspace{1em}(9.12.5)}$$
      说明A，B，C是一个团，需要在A，C之间加一条线。
3. 总结
   1. 观察这三种情况可以将有向图到无向图的转换方法的步骤概括为：
      $①将每个节点的⽗节点两两相连$；
      $②将有向边替换为⽆向边$。
   2. 举例：
      
   3. 意义
      在判断条件独立性的时候，有时图形非常复杂的时候。我们在有向图中很难看出来，而在无向图中却可以很简单的得到我们想要的结果。也就是$Sep(A,B|C)⟺D-Sep(A,B|C)$。

---

9.13 Factor Graph

上一节讲的道德图可以将有向图转换为无向图，但是可能会引入环（head-to-head类型），可能变成图，但是之前讲的BP（Belief Propagation）算法只能在树上操作，只能对树进行分解。

1. 定义
   因此需要引入因子图（Factor Graph），此方法有两大出发点：

   • $消去环$
   • $简便$

   因子图的公式为：
   $$p(x)=\prod _{S}p(x_S).\text{\hspace{1em}(9.13.1)}$$
   其中，$S$是图的节点子集，$x_S$为对应的$X$的子集，也就是$X$的随机变量的子集。

2. 举例
   下图进行分解：
   

   1. 方法1
      
      可以描述为：$p(x)=f=f(a,b,c)$。
   2. 方法2
      
      也可以描述为：
      $$p(x)=f_1(a,b)f_2(a,c)f_3(b,c).\text{\hspace{1em}(9.13.2)}$$
   3. 方法3
      不仅是可以在两个节点之间插入关系，同时也可以对于单个节点引入函数。
      
      表达式为：
      $$p(x)=f_1(a,b)f_2(a,c)f_3(b,c)f_a(a)f_b(b).\text{\hspace{1em}(9.13.3)}$$
      上图可以看成是对因式分解的进一步分解，可以成功的消除环结构。如下图所示：
      
      通过上面的三种方法，可以看到因子图存在的意义，它可以有效的$消除环结构$，通过一个重构的方式，重建出树的结构。这样可以有效的帮助我们使用Belief Propagation中的变量消除法等方法。