主讲人 网神
(新浪微博: @豆角茄子麻酱凉面)
网神(66707180) 18:52:10
今天的内容主要是:
1.贝叶斯网络和马尔科夫随机场的概念,联合概率分解,条件独立表示;2.图的概率推断inference。
图模型是用图的方式表示概率推理 ,将概率模型可视化,方便展示变量之间的关系,概率图分为有向图和无向图。有向图主要是贝叶斯网络,无向图主要是马尔科夫随机场。对两类图,prml都讲了如何将联合概率分解为条件概率,以及如何表示和判断条件依赖。
先说贝叶斯网络,贝叶斯网络是有向图,用节点表示随机变量,用箭头表示变量之间的依赖关系。一个例子:
这是一个有向无环图,这个图表示的概率模型如下:
p(x1,x2,...x7)= 形式化一下,贝叶斯网络表示的联合分布是:
其中是xk的所有父节点。
以上是贝叶斯网络将联合概率分解为条件概率的方法,比较直观易懂,就不多说了。下面说一下条件独立的表示和判断方法。条件独立是,给定a,b,c三个节点,如果p(a,b|c)=p(a|c)p(b|c),则说给定c,a和b条件独立。当然 a, b, c也可以是三组节点,这里只以单个节点为例。用图表示,有三种情况 。
第一种情况如图:
c位于两个箭头的尾部,称作tail-to-tail,这种情况,c未知的时候,a,b是不独立的。c已知的时候,a,b条件独立。来看为什么,首先,这个图联合概率如下:
在c未知的时候,p(a,b)如下求解:
可以看出,无法得出:p(a,b)=p(a)p(b),所以a,b不独立。
如果c已知,则:
所以a,b条件独立于c。条件独立用以下符号表示:
a,b不独立的符号表示::
这是图表示的条件独立的第一种形式,叫做tail-to-tail。第二种是tail-to-head,如图:
这种情况也是c未知时,a和b不独立。c已知时,a和b条件独立于c,推导如下:
第三种情况是head-to-head,如图:
这种情况反过来了,c未知时,a和b是独立的;但当c已知时,a和b不满足条件独立,
因为:
计算该概率的边界概率,得
所以a和b相互独立.
但c已知时: