有向图模型知识综述

有向图模型知识综述

---

一、图模型基本概念

图为表示一组随机变量之间的独立关系和计算条件概率提供了强有力的支撑。图模型(graphical model) 即为将条件独立结构编码在图中的概率模型，图中的顶点（结点）表示随机变量，而边代表了相关结点之间的条件独立关系。
其中，条件独立性的概念是：设$X,Y,Z$均为随机变量，当满足$p(x,y|z)=p(x|z)p(y|z)$时，则称$X,Y$在给定$Z$的条件下相互独立。这意味着，一旦$Z$已知，$Y$就不提供关于$x$的额外信息。利用条件独立关系可以将联合分布分解简化。
图模型主要分为有向图和无向图，有向图用于表示变量之间的条件独立关系，也可以用来表示因果关系。当图中的边带有方向时，该图就是有向图，反之则为无向图。

二、有向无环图（DAGs）

记有向图 $G=(V,E)$，其中$V$表示顶点集，$E$表示边集，由于边是有向的，采用有序的顶点对来表示。这里介绍有向图中的几个概念：
（1）相邻：$X,Y$ 之间有有向边连接，称$X,Y$相邻；
（2）父元素/子元素：若$X\to Y$，称$X$为$Y$的父亲，$Y$为$X$的孩子；随机变量$X$的所有父元素节点集合记为${\pi }_X$或$\pi (X)$
（3）祖先/后代：若有一条从$X$到$Y$的有向路径，称$X$为$Y$的祖先，$Y$为$X$的后代
三节点子图基本结构：（1）X→Y←Z（头对头）（2）X→Y→Z（头对尾）（3）X←Y→Z（尾对尾）
碰撞点(collider)：路径相关，如图，路径{X,Y,Z}中Y为碰撞点；路径{X,Y,W}中Y不是碰撞点。
有向图中有三个基本的结构，所有的有向图都可以由这三个基本结构拼接而成，如下图所示：

其中，$(a)$图表示的是头对头结构，其中$Y$被称为碰撞点(collider)；$(b)$图表示的是头对尾结构；$(c)$ 图表示的是尾对尾结构。碰撞点指的就是头对头结构中中间的那部分，它是一个路径相关的概念。而当指向碰撞点的两个变量不相邻时，称该碰撞点是非屏蔽的。
开始和结束于同一个变量的有向路径称为循环，如果一个有向图内没有循环，它就是无环的。由于有向有环图上很难提供连贯的概率语义，通常研究有向无环图。

三、概率与DAGs

3.1 DAGs与马尔科夫

令有向无环图 $G=(V,E),V=(X_1,X_2,\dots ,X_d)$，若$P$为$V$上的概率函数$p(x)$对应的概率分布，当$p(x)={\prod }_{j=1}^{d}p(x_j|{\pi }_{x_j})$时称$G$表征了$P$，$P$到$G$是马尔科夫的，$G$表示的分布集合用$M(G)$表示。
对于图$G$，其分布$P\in M(G)$当且仅当马尔科夫条件成立。马尔科夫条件为：对每一变量$W$，在给定${\pi }_W$的条件下，$W$与其他非父元素变量条件独立。
例：如图，当且仅当概率函数满足$p(x,y,z,w)=p(x)p(y)p(z|x,y)p(w|z)$时，分布$P\in M(G)$。

DAGs与马尔科夫的性质有很多应用，如马尔科夫链、隐马尔可夫模型(HMM)、层次模型、随机效应模型(REM)等。

四、独立关系寻找

马尔科夫条件可以帮助列出由DAG隐含的一些独立关系，为了更加全面地找到独立关系，这里引出两个概念 $d-sepration$（定向分离）和 $d-connected$（定向连接）。
判断$d-sepration$ 有三条规则：

• 当$Y$不是碰撞点，$X,Z$为 $d-connected$，但当给定$Y$时，$X,Z$为 $d-sepration$
• 当$X,Y$在$Y$处碰撞，$X,Z$为 $d-sepration$，但当给定$Y$时，$X,Z$为$d-connected$
• 在碰撞点处的条件作用对碰撞点的后代有相同作用（碰撞点的后代在给定条件集合中时，可消除碰撞点作用）

（参考：http://bayes.cs.ucla.edu/BOOK-2K/d-sep.html）

按照上面三条规则可以判断有向分离，也可以通过更加正式的定义进行判断：
$d-sepration$/$d-connected$ 正式定义：$X,Y$为不同的顶点, $W$为若干顶点的集合（不含$X,Y$），若在给定$W$的条件下，$X,Y$之间存在一条无向路径U满足
① $U$上每个collider的后代都在W中，或 ② $U$上顶点都不在W中，则X, Y在给定W的条件下是$d-connected$的；反之，若① ②均不满足，则X, Y在给定W的条件下是 $d-sepration$的。
此外，集合间也存在$d-sepration$的概念。集合间的 $d-sepration$定义如下：$A,B,W$ 是不同顶点集，且 $A$ 和 $B$ 不为空。给定$W$的条件下，$A,B$ 是 $d-sepration$需要满足对每个$X\in A$和$Y\in B$，$X,Y$在给定$W$的条件下是 $d-sepration$的。
例：如图，由 $d-sepration$/$d-connected$ 的定义和规则可以得出图中存在以下几个有向分离、有向连接关系：

1. $X$与$Y$是有向分离的：由于$X$与$Y$之间存在一条无向路径$X-U-V-W-Y$，该路径上存在两个collider，$U$和$W$，由于没有给出额外条件，故这两个collider的后代都不在额外条件里，从而$X$与$Y$有向分离。
2. 给定$Z,S$的条件下，$X$与$Y$是有向连接的：同理，两个collider的后代为$Z,S$，刚好在给定条件的集合内，故$X$与$Y$是有向连接的。
3. 给定$Z,S,V$的条件下，$X$与$Y$是有向分离的：同理，路径上的$V$在给定条件中，故$X$与$Y$是有向分离的。
   
   此处，还需要引出一个重要的概念——马尔科夫等价。由于看起来不同的图实际上可能意味着相同的独立关系，这样的两个图是等价的。具体来说，$G_1$和$G_2$ 为马尔科夫等价当且仅当 $(1)skeleton(G_1)=skeleton(G_2)$，且$(2)G_1,G_2$有相同的非屏蔽collider。

五、高斯DAGs

高斯DAGs目的在于使用有向图模型表示多元高斯分布，这种表示通常是基于线性高斯模型的。首先对几个基本概念进行介绍：

1. 线性高斯模型：$Y$为DAG中的一个连续变量，其父节点为$X_1,\dots ,X_k$，当存在参数${\beta }_0,{\beta }_1,\dots ,{\beta }_k$和${\sigma }^2$满足下列条件时，称$Y$的父节点为线性高斯模型：
   $Y={\beta }_0+{\beta }_1{X}_1+\dots +{\beta }_k{X}_k+ϵ,ϵ\sim N(0,{\sigma }^2)$
2. 高斯有向图模型：若所有变量都连续，且每个变量及其父变量都遵循线性高斯模型，则该有向图模型称为高斯有向图模型(或高斯贝叶斯网络)。（每个节点由其父节点加正态分布随机噪声的线性函数表示）
3. 联合多元高斯分布：假设$Y$的父结点$X_1,\dots ,X_k$满足线性高斯模型，即 $Y={\beta }_0+{\sum }_{j=1}^k{\beta }_j{X}_j+ϵ,ϵ\sim N(0,{\sigma }^2)$，又假设$X=(X_1,\dots ,X_k)$满足联合高斯分布$N(\mu ,\sum )$，则联合分布$(Y,X_1,\dots ,X_k)$是协方差为$Cov(Y,X_i）={\sum }_{j=1}^k{\beta }_j{\sum }_{ij}$的高斯分布，此外，期望$E(Y)={\beta }_0+{\beta }^T\mu$，方差$Var(Y)={\sigma }^2+{\beta }^T\sum \beta$，其中$\beta =({\beta }_1,\dots ,{\beta }_k)$。这个定理证明了任何的高斯贝叶斯网络都可以转换为高斯多元分布。
4. 反命题（任何多元高斯分布都可以转换为高斯贝叶斯网络）： $P$为$d$维多元高斯随机向量$X=(X_1,\dots ,X_d)$的联合分布，对$X$的任意顺序，可以构造出DAG图$G$使$P$到$G$是马尔科夫的。

基于以上几个概念和定理，此处再引出高斯模型的条件独立性概念：
首先介绍偏相关系数的概念：${\rho }_{X,Y|Z}$是变量$X,Y$在给定的另一组变量$Z=(Z_1,Z_2,\dots ,Z_k)$上，对$X,Y$分别进行回归产生的残差之间的相关性。公式为：
${\rho }_{X,Y|Z}=\frac{\mathbb{E}(XY|Z)-\mathbb{E}(X|Z)\mathbb{E}(Y|Z)}{\sqrt{Var(X|Z)}\sqrt{Var(Y|Z)}}$

由多元高斯分布的偏相关系数可以推导出高斯模型的条件独立性，由下面这个定理阐释：
定理：$X=(X_1,\dots ,X_d)$为高斯随机向量，对 i ≠ j ∈ { 1 , … , d } , K ⊂ { 1 , … , d } / { i , j } i\neq j\in\{1,…,d\},K\subset\{1,…,d\} / \{i,j\} i=j∈{1,…,d},K⊂{1,…,d}/{i,j}，定义在给定 { X k : k ∈ K } \{X_k:k\in K\} {Xk​:k∈K}时，$X_i$和$X_j$之间的偏相关系数为${\rho }_{i,j|K}$。${\rho }_{i,j|K}=0$当且仅当在给定 { X k : k ∈ K } \{X_k:k\in K\} {Xk​:k∈K}的条件下，$X_i$和$X_j$条件独立。

六、精确推理

有向图常用于推断，而其中某些结点作为证据节点被设定为固定值，则希望能够计算出其他一些变量的后验分布。通常这样的计算代价很高，而基于DAGs提出了第一个有效的使用消息传递体系结构来进行概率推理的算法——置信度传播算法（信念传播算法/和-积算法）。
首先，介绍置信度传播算法的几个概念：

• 预假设：所有变量离散，求边缘概率等价于求和。（对连续变量，求和即为求积分）
• polytree：polytree是任意两个节点之间最多只有一条无向路径的有向图。（即，polytree为没有无向环的DAG）通常在polytree上进行精确推理。
• 推理问题形式：$\mathbb{P}(X=x|E=e)$，$X$是一个查询节点，$E$是被设置为某个值的观察节点(证据节点)的任意子集。

基于此，可以进行信念传播算法的递归关系计算：
设$E=E_X^{+}\cup E_X^{-}$，其中$E_X^{+}$是$X$祖先节点的子集，$E_X^{-}$是$X$后代节点的子集。将每个节点视为一个处理器，它接收来自其邻居的消息，并在经过一些局部计算后将其传递。
设 $X$ 有 $n$ 个孩子 $Y_1,\dots ,Y_n$ 和 $k$ 个父亲 $Z_1,\dots ,Z_k$，$X$从孩子$Y_j$ 处接收到的信息记为$m_{Y_j}^{-}(X)$，又记 $m_{Y_j}^{+}(X)$为从$X$发送到$Y_j$ 处的信息；同理，$m_X^{-}(Z_j)$ 为 $X$ 发送到 $Z_j$ 处的信息，$m_X^{+}(Z_j)$ 为父亲$Z_j$从$X$处接收到的信息。
令 $E_X^{+}=e_X^{+}$，$E_X^{-}=e_X^{-}$，$p(x|e_X^{+},e_X^{-})\equiv \mathbb{P}(X=x|E_X^{+}=e_X^{+},E_X^{-}=e_X^{-})$ ，
由于 $X$ 将 $E_X^{+}$ 和 $E_X^{-}$定向分离，$p(e_X^{+},e_X^{-}|x)=p(e_X^{+}|x)p(e_X^{-}|x)$
进一步定义$E_X^{+}=E_{X,Z_1}^{+}\cup \dots \cup E_{X,Z_k}^{+}$，其中$E_{X,Z_i}^{+}为E_X^{+}$的一个子集，也是$Z_i$的祖先；
同理定义$E_X^{-}=E_{X,Y_1}^{-}\cup \dots \cup E_{X,Y_n}^{-}$，其中$E_{X,Y_i}^{-}为E_X^{-}$的一个子集，也是$Y_j$的后代。
定义$m^{+}(x)\equiv p(x|e_X^{+})$为传播的$E_X^{+}=e_X^{+}$，$X$从它的父亲那里得到$E_X^{+}=e_X^{+}$并传播给孩子；
同理，$m^{-}(x)\equiv p(x|e_X^{-})$为传播的$E_X^{-}=e_X^{-}$，$X$从它的孩子那里得到$E_X^{-}=e_X^{-}$并传播给父亲。

计算时利用了$X$定向分离$Y_1,Y_2,\dots ,Y_n$这一性质。且由上述公式可知，计算通过节点$X$向父节点、子节点传递的消息，可以算出答案。那么问题就转换为如何计算X收发的消息，即计算$m_{Y_j}^{+}(X)$和$m_X^{-}(Z_j)$。
$X$ 发给孩子节点$Y_j$的信息包括：$X$从父亲处获得(即$E_X^{+}$)；$X$从其它孩子处获得(即$E_X^{-}\backslash E_{X,Y_j}^{-}$)则$m_{Y_j}^{+}(X)$ 可由下式推导：注意： β = 1 p ( { e X − \ e X , Y j − } ∣ e X + ) \beta=\frac{1}{p(\{e_X^-\backslash e_{X,Y_j}^-\}|e_X^+)} β=p({eX−​\eX,Yj​−​}∣eX+​)1​，且 $X$ 定向分离各孩子节点。

同理，父亲节点$Z_i$从$X$收到的信息包括：$X$从孩子处获得的$E_X^{-}$，$X$从其它父亲处获得的$E_X^{-}\backslash E_{X,Z_i}^{-}$，同样可以计算出$m_X^{-}(Z_i)$。

在确定递归关系后，还需要确定递归初始值。注意到：叶节点没有孩子；根节点没有父亲；证据节点若被初始化为某个证据值e，则该节点收发信息值均设为1；未初始化的叶节点，将发给其父亲的信息均设为1；未初始化的根结点，发送给其孩子的信息设为$\mathbb{P}(x)$。
至此，信念传播算法的流程就结束了。
而为了解决最大化概率问题，或为某些观察找到最可能的解释（即最大后验估计），一个名为最大积（最大和）的算法被提出。在此算法中，问题被形式化为$\hat{x}=\underset{x}{\mathrm{argmax}}\mathbb{P}(X=x|E=e)$。算法的总体流程类似信念传播算法，只是将计算消息时将结点收到的消息的总和变为消息的最大值。

七、近似推理

为了解决图中包含循环的问题，提出了近似推理的方法，包括变分法（确定性算法）；抽样法（随机性算法）；疯狂信念传播算法（不能保证收敛）。

八、标准参数估计

标准参数估计是在给定DAG图$G$的情况下，估计联合分布的参数，可以大致分为两类：全观测数据的参数估计和带有隐变量的参数估计。
8.1 全观测数据的参数估计
假设对每个条件密度，参数模型为$p(x_j|{\pi }_{x_j};{\theta }_j)$，其中，$\theta =({\theta }_1,\dots ,{\theta }_d)$为一组参数，则联合分布可表示为：
$p(x;\theta )={\prod }_{j=1}^{d}p(x_j|{\pi }_{x_j};{\theta }_j)$
若给定 $n$ 个观测点 { x 1 , … , x n } \{x_1,…,x_n\} {x1​,…,xn​}，似然函数可表示为：$L(\theta )={\prod }_{i=1}^{n}p(x_i;\theta )={\prod }_{i=1}^n{\prod }_{j=1}^{d}p(x_{ij}|{\pi }_{x_j};{\theta }_j)$
通过最大似然可以估计参数，对数似然分解如下：
$l(\theta )=logL(\theta )={\sum }_{j=1}^{d}log({\prod }_{i=1}^{n}p(x_{ij}|{\pi }_{x_j};{\theta }_j)\equiv {\sum }_{j=1}^{d}log{L}_j({\theta }_j)={\sum }_{j=1}^d{l}_j({\theta }_j)$
其中，$l_j({\theta }_j)={\sum }_{i=1}^{n}logp(x_{ij}|{\pi }_{x_j};{\theta }_j)$是${\theta }_j$的局部条件似然。
8.2 带有隐变量的参数估计
观察到的数据可能不包括DAG中某些变量的值，称这些变量为隐藏变量。
若$Z$表示隐变量，则对数似然可写为：
$l(\theta )={\sum }_{i=1}^{n}logp(x_i;\theta )={\sum }_{i=1}^{n}log{\int }_{z_i}p(x_i,z_i;\theta )d{z}_i$，
由于隐变量的存在，就无法直接进行分解求值，通常采用最大化方法——EM算法

九、结构学习

为了从数据中估计DAG，主流方法有两类：（1）基于约束的方法：使用统计测试从数据中学习条件独立关系(约束)，并使用获得的约束修剪图搜索空间；（2）基于分数的算法：给每个候选DAG分配一个反映其拟合优度的分数，然后将其作为一个目标函数进行优化。其中，PC算法作为基于约束的方法，效果非常优越，下面主要介绍PC算法。
首先介绍一个重要的概念——代表等价类。
设$X$为$d$维随机向量，分布为$P$，假设存在一个$G$使$P$关于$G$是忠实的。由马尔科夫等价定理，无需确定单一的$G$，只需确定$G$的等价类。
等价类采用带有非屏蔽碰撞点标记的骨架图来表示，除了对应于非屏蔽碰撞点的边，所有边无向。通过对无向骨架图的非屏蔽碰撞点对应边加方向，得到PDAG，再通过简单的规则可以判断PDAG中某些无向边的方向是否确定，如：不能引入新的collider；不能引入环等得到CPDAG.

• 部分有向无环图(PDAG)：包含有向边和无向边的无环图，不能通过跟随有向边的方向和无向边的任何方向来跟踪一个环。
• CPDAG：若G为DAG，K为PDAG，当满足下列两个条件时，K是一个完全PDAG(CPDAG)：（1）$skeleton(K)=skeleton(G)$ (2)K所包含一条有向边当且仅当与$G$等价的DAG包含有相同的有向边。
  给定一个忠于$G$的分布$P$，只能确定$G$的CPDAG
  
  接下来正式介绍PC算法，PC算法就是输入分布P，输出对应的CPDAG。它分为两个步骤：（1）识别DAG骨架：从完整的无向图，基于条件独立决策递归地删除边，生成无向骨架图；（2）确定CPDAG：对其进行部分定向并进一步扩展以表示CPDAG。
  步骤1 识别DAG骨架：
  此步骤目标是构建无向图$S$使得$S=skeleton(G)$。这一步骤基于条件独立关系，即在给定不同的变量子集$A$的条件下，$X_i$和$X_j$条件独立$(X_i\perp X_j|A)$。
  这里需要引入定理：$G$为DAG，分布$P$忠实于$G$，若$X_i$与$X_j$在$G$中相邻，对任意$A$，$X_i$和$X_j$条件独立不成立。另一方面，若$X_i$和$X_j$不相邻，要么$X_i\perp X_j|\pi (X_i)$，要么$X_i\perp X_j|\pi (X_j)$
  由这一定理，只需检查是否存在 A ⊂ V \ { i , j } A\subset V\backslash\{i,j\} A⊂V\{i,j} 使 $X_i\perp X_j|A$，若存在，$X_i$和$X_j$相邻，称$A$为对应$X_i$和$X_j$的分离集。
  此外，若$X_i\perp X_j|A$，对$A$的任意超集$A^{\prime }$，$X_i\perp X_j|A^{\prime }$。由此，可以按照大小递增的顺序搜索可能的分离集。
  则步骤1的总体算法如下图：为了确保$X_i$和$X_j$相邻，要对所有可能的$A$遍历检查。算法中，$adj(C,i)$代表初始无向图$C$中$X_i$的邻接节点。$k$为分离集的大小，上限$d$取决于$skeleton(G)$的最大度$K$。有 研究证明$d=K-1$或$d=K$。
  
  步骤2：确定CPDAG
  确定CPDAG的关键在于识别非屏蔽碰撞点，由此提出非屏蔽collider确定定理：
  非屏蔽collider确定定理：假设从PC算法步骤1输出骨架为$C$，一组分离集为$A$。候选关系 $X_i-X_k-X_j$ 当且仅当 $X_k\notin A_{ij}$ ：时为非屏蔽collider$X_i\to X_k\leftarrow X_j$（通过反证法证明）
  确定非屏蔽collider后可获得 PDAG。
  接下来需要继续确定图中某些边的方向：通过三个规则，匹配PDAG中符合条件的三个初始子图应用规则来确定。
  ●Rule1：若构型$X\to Y-Z$不是非屏蔽collider，则必为$X\to Y\to Z$
  ●Rule2：DAG中不允许环的存在。
  ●Rule3：Rule1和Rule1的结合，若存在有向边$W\to X$,则必有$Y\to X$, $Z\to X$，而这又导致出现新的非屏蔽collider$Y\to X\leftarrow Z$,不成立，故有向边$W\to X$必不存在，只能是$W\leftarrow X$。
  
  PC算法步骤2的收敛性是显然的，其总体算法如下：
  样本版本的PC算法
  与前述的总体PC算法不同，若只有观测到的部分数据点的情况下，还想检验$X_i\perp X_j|A$是否成立应该如何实现？
  这一问题对于高斯DAG是易于构造实现的。前面提到过，高斯DAG有定理证明：$X_i\perp X_j|A$当且仅当${\rho }_{i,j|A}=0$，${\rho }_{i,j|A}$为给定$A$的条件下，$X_i$和$X_j$的偏相关系数。为了验证$X_i\perp X_j|A$，只需进行假设检验：
  $H_0:{\rho }_{i,j|A}=0vs.H_1:{\rho }_{i,j|A}\ne 0$
  假设检验的方式为：
  令${\hat{\rho }}_{i,j|A}$为通过递归公式求解出的样本偏相关系数，
  采用费雪变换来进行假设检验，即
  令${\hat{z}}_{ij|A}=\frac{1}{2}log(\frac{1+{\hat{\rho }}_{i,j|A}}{1-{\hat{\rho }}_{i,j|A}})，z_{ij|A}=\frac{1}{2}log(\frac{1+{\rho }_{i,j|A}}{1-{\rho }_{i,j|A}})$。
  经典分布理论在高斯情况下刻画了${\hat{z}}_{ij|A}$的渐进分布
  $(\sqrt{n-|A|-3})({\hat{z}}_{ij|A}-z_{ij|A})\stackrel{D}{\to }N(0,1)$，$|A|$表示$A$的基数，
  而在零假设下，$z_{ij|A}=0$，则利用$\alpha$测试，但满足下列式子时拒绝零假设：
  $(\sqrt{n-|A|-3})|{\hat{z}}_{ij|A}|>{\varphi }^{-1}(1-\frac{\alpha }{2})$，
  其中$\varphi (\cdot )$为标准高斯随机变量的累积函数。

十、DAG应用

故障分析
DAG是一个对不确定性进行推理的工具，几乎所有的领域涉及到预测、智能推理、诊断、决策、风险/可靠性分析的问题都可以运用它来处理。

DAG在故障诊断方面有着很大用处，如打印机故障诊断。有研究者提出了一个确定询问-测试修理顺序的框架性的方法。通过不断计算在不同步骤下可能需要的维修方案的功效确定最优的维修路径。在此运用中，DAG 用于更新给定观察证据后的各个故障源的概率，同时诊断过程将修复故障源所需的花费和故障源可能发生的概率综合加以考虑来给出优化的诊断方案。上图就是用于打印机故障诊断的简化的 DAG模型。
常规的DAG诊断模型通常只采用领域专家提供的前向条件概率(从故障源到征兆)，还存在利用专家提供的双向条件概率去建立诊断模型，使模型更完备、准确。