贝叶斯网络(Belief Networks)
在概率图模型中,贝叶斯网络通常用来表示变量之间的独立性假设,通过贝叶斯网络,我们可以很容易的从中获取我们想要的信息,比如概率的条件和边缘独立信息,但是单纯的贝叶斯网络不能刻画变量间所有的关系,然而贝叶斯网络很擅长描述变量间的因果关系(causal)
注明:
此文章大部分思想和例子参考Bayesian Reasoning and Machine Learning
关于贝叶斯基本原理,可参考文章数学之美番外篇:平凡而又神奇的贝叶斯方法
关于贝叶斯网络的优点:
- 简化模型表达方式
- 相比于传统的计算方式更加易于计算
模型的独立性问题
假设我们有这样一个例子:
有一天早晨,Bruce离开他的房子的时候发现他家花园中的草地是湿的,有两种可能,第一:昨天晚上下雨了,第二:他昨天晚上忘记关掉花园中的喷水器,接下来,他观察他的邻居Joe,发现他家花园中的草地也是湿的,因此,他推断,他家的草地湿了是因为昨天晚上下雨的缘故
我们可以通过模型来刻画这样的事件:
R∈{ 0,1} R=1表示下雨0表示没有
S∈{ 0,1} S=1表示Bruce忘记关喷水器0表示没有忘
J∈{ 0,1} J=1表示Joe家里的花园草地也湿了0表示没有
B∈{ 0,1} T=1表示Bruce的花园草地湿了0表示没有
在这里,有四个变量,每一个变量有两种状态属性0和1,如果要全部表示出来所有的可能性,需要 24=16 种方式,e.g. p(T=1,J=0,R=1,S=1)=0.7 etc. 根据贝叶斯法则,我们可以得到如下公式: