第十七课.有向图模型与条件独立性

本篇介绍有向图模型，即贝叶斯网络

有向图对概率模型的表达

概率图模型将抽象的图赋予了概率的含义，而概率图模型的核心是多维随机变量的联合概率分布$p(x_1,x_2,...,x_p)$的计算，高维是导致使用链式法则的原因，现在要基于有向图，思考利用条件独立性化简表达。贝叶斯网络表达的概率模型如下：

有向图中，每个节点代表的都是随机变量的特征，父子节点之间的连接则表达了条件概率，它反映了父子节点之间的关系，比如：

可见，$x_i$是$x_j$的父节点，因此这个图中$x_i$和$x_j$两个节点以及二者之间的有向关系表示为条件概率$p(x_j|x_i)$

贝叶斯网络的三种基本结构

实际上，在贝叶斯网络中，无论节点有多少，网络有多复杂，本质还是由三类基本结构组成：

第一类：tail to tail结构

第二类：head to tail结构

第三类：head to head结构

贝叶斯网络对联合概率的拆解

此处需要借助有向图中的一个定义：有向图的因子分解公式，利用它我们可以在有向图中将联合概率拆解为若干条件概率连乘的形式：
$$p(x_1,x_2,x_3,...,x_p)=\prod _{i=1}^{p}p(x_i|x_{pa(i)})$$
而其中的$x_{pa(i)}$是$x_i$的父节点集合。

因子分解公式套用在之前的六个节点的贝叶斯网络中，联合概率表达为：
$$p(x_1,...,x_6)=p(x_1)p(x_2|x_1)p(x_3)p(x_4|x_1)p(x_5|x_2,x_3)p(x_6|x_5)$$
我们进一步探索因子分解公式，实际可以在贝叶斯网络拓扑中，找到条件独立性。

还是在三个基本结构中看：

首先是tail to tail结构：

按照因子分解，联合概率写为：$p(a,b,c)=p(a)p(b|a)p(c|a)$

如果用链式法则表达，则为：$p(a,b,c)=p(a)p(b|a)p(c|a,b)$

联立两式子：$p(a)p(b|a)p(c|a)=p(a)p(b|a)p(c|a,b)$，从而有：$p(c|a)=p(c|a,b)$；

对比前面的章节，这正是条件独立的表达，在$a$给定后，$c$与$b$无关，相互独立；

现在分析head to tail结构：

按照因子分解为：$p(a,b,c)=p(a)p(b|a)p(c|b)$，与链式法则联立得到：$p(c|b)=p(c|a,b)$；

最后是head to head结构：

因子分解为：$p(a,b,c)=p(a)p(b)p(c|a,b)$，联立链式法则为：$p(b)=p(a|b)$，此处结论反映的是$a$和$b$相互独立。

贝叶斯网络与概率模型的关系

对比之前的内容，朴素贝叶斯其实是最简单的贝叶斯网络：

随机过程的马尔科夫链也是一种贝叶斯网络：