【机器学习系列】概率图模型第二讲：深入浅出有向图中的条件独立性和D划分

作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

前言： 文中含有大量公式，若需获取本文全部的手书版原稿资料，扫码关注公众号【AI机器学习与知识图谱】，回复: 概率图模型第二讲 即可获取。可添加微信号【17865190919】进公众号讨论群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

上一章节中介绍了相对独立假设，齐次马尔科夫假设以及条件独立性假设，得出一个结论就是：概率图具有条件独立特性，根据一个构建好的概率图可以直接得出节点集合之间的条件独立性，也就是随机变量集合之间的条件独立性。用公式表示为$X_A\perp X_B|X_C$，其中$X_A,X_B,X_C$都是图中节点的集合。本节将介绍有向图的联合概率分布和条件独立性。

一、有向图联合概率分布

首先有向图的随机变量联合概率分布很容易写出来，参考如下公式，其中$X_{pa(i)}$是$X_i$的父节点：

二、有向图的条件独立性

下面首先通过三个有向图的例子理解一下有向图是如何得出随机变量之间的条件独立性。

例子1： 如下图所示，节点a是head节点，节点b和c都是tail节点，为方便起见，将下图称为tail-to-tail模式。

先给出结论： 在给定节点a的情况下，b和c相互独立，即：$c\perp b|a$，下面通过推导证明该结论的正确性。

首先根据上图可以写出其对应的联合概率分布为：

而链式法则始终是成立的：

根据以上两个公式可以进行推导：

根据推导出的$p(b,c|a)=p(c|a)p(b|a)$可以直接得出条件独立性性质：$c\perp b|a$，即在给定a的情况下b和c相互独立。因此下次出现上图tail-to-tail模式有向图可以直接得出结论$c\perp b|a$。

例子2： 如下有向图，a是head结点，b和c都是tail节点，为了方便将下图结构称为head-to-tail模式：

先给出结论：在给定节点b情况下，a和c是相互独立的，即$a\perp c|b$，证明方式和例子1相同，首先可以写出图对应的联合概率分布为：

再结合链式法则便可推导出用例子1同样方式可以得出：$p(a,c|b)=p(c|b)p(a|b)$，因此可得出结论在b被观测的情况下，a和c是相互独立的，即$a\perp c|b$。

例子3： 第三种情况相对比较特殊，如下有向图，节点a,b都是head节点，节点c是tail节点，为了方便起见将下图称为head-to-head模式：

先给出结论：在默认情况下节点a和b是相互独立的，而当节点c被观测时，则a和b相关互不独立。我们可以这么想，a和b是夫妻，c是孩子，在没有孩子c之前a和b不认识是相互独立的，当有了孩子c之后a和b就不再独立了。下面通过推导证明。

首先可以写出上图对应的联合概率分布为：

结合根据链式法则有：$p(a,b,c)=p(a)p(b|a)p(c|a,b)$，根据以上两个公式可以得出：$p(b)=p(b|a)$，因此可以看出默认情况下，a和b确实是相互独立的。

延伸知识： 若c的所有后继节点如果被观测，则节点a和b也将相关互不独立。

接下来引出有向图的D-划分，D-划分方法可以得到有向图中相互条件独立的随机变量集合，下面看D-划分规则。

三、有向图的D-划分

D-Seperation的两条核心规则，D划分规则又被称为全局Markov性。如果在下面有向图中，在集合$X_B$被观测情况下，集合$X_A$和集合$X_C$相互独立，则必须满足以下两条：

规则1： 节点a属于集合$X_A$，节点c属于集合$X_C$，如下图所示，若存在节点$b_1$和节点a,c之间满足上述介绍的head-to-tail模式，则节点$b_1$必须在集合$X_B$内。同理若节点$b_2$和节点a,c之间满足上述介绍的tail-to-tail模式，则节点$b_2$必须在集合$X_B$内。

规则2： 若现有节点$b_{\ast }$和节点a,c之间满足head-to-head模式，则节点$b_{\ast }$必须在集合$X_B$之外，同时节点$b_{\ast }$的后继节点也必须在集合$X_B$之外。

同时根据上述两个D-Seperation规则，也可以在有向图中找出满足条件独立性的集合。

下一章节将介绍概率图中无向图中的条件独立性和无向图因式分解方法。

参考视频资料：【机器学习】【白板推导系列】 作者：shuhuai008

参考书籍资料：Pattern Recognition and Machine Learning 作者：[Christopher Bishop](https://book.douban.com/search/Christopher Bishop)