PRML读书会第八章 Graphical Models（贝叶斯网络，马尔科夫随机场）

主讲人 网神

（新浪微博: @豆角茄子麻酱凉面）

网神(66707180) 18:52:10

今天的内容主要是：

1.贝叶斯网络和马尔科夫随机场的概念，联合概率分解，条件独立表示；2.图的概率推断inference。

图模型是用图的方式表示概率推理 ，将概率模型可视化，方便展示变量之间的关系，概率图分为有向图和无向图。有向图主要是贝叶斯网络，无向图主要是马尔科夫随机场。对两类图，prml都讲了如何将联合概率分解为条件概率，以及如何表示和判断条件依赖。 
先说贝叶斯网络，贝叶斯网络是有向图，用节点表示随机变量，用箭头表示变量之间的依赖关系。一个例子:

这是一个有向无环图，这个图表示的概率模型如下:
p(x1,x2,...x7)= 形式化一下，贝叶斯网络表示的联合分布是：

其中是xk的所有父节点。

以上是贝叶斯网络将联合概率分解为条件概率的方法，比较直观易懂，就不多说了。下面说一下条件独立的表示和判断方法。条件独立是，给定a,b,c三个节点，如果p(a,b|c)=p(a|c)p(b|c)，则说给定c，a和b条件独立。当然 a, b, c也可以是三组节点，这里只以单个节点为例。用图表示，有三种情况 。
第一种情况如图：

c位于两个箭头的尾部，称作tail-to-tail，这种情况，c未知的时候，a，b是不独立的。c已知的时候，a,b条件独立。来看为什么，首先，这个图联合概率如下：
在c未知的时候,p(a,b)如下求解:

可以看出，无法得出:p(a,b)=p(a)p(b)，所以a,b不独立。
如果c已知，则：

所以a,b条件独立于c。条件独立用以下符号表示：

a,b不独立的符号表示:：

这是图表示的条件独立的第一种形式，叫做tail-to-tail。第二种是tail-to-head，如图：

这种情况也是c未知时，a和b不独立。c已知时，a和b条件独立于c，推导如下：

第三种情况是head-to-head，如图：

这种情况反过来了，c未知时，a和b是独立的；但当c已知时，a和b不满足条件独立，
因为：
计算该概率的边界概率，得
 
所以a和b相互独立.
但c已知时：