贝叶斯网络(Belief Networks)--模型及方法

贝叶斯网络(Belief Networks)

在概率图模型中，贝叶斯网络通常用来表示变量之间的独立性假设，通过贝叶斯网络，我们可以很容易的从中获取我们想要的信息，比如概率的条件和边缘独立信息，但是单纯的贝叶斯网络不能刻画变量间所有的关系，然而贝叶斯网络很擅长描述变量间的因果关系(causal)

注明：

此文章大部分思想和例子参考Bayesian Reasoning and Machine Learning

关于贝叶斯基本原理，可参考文章数学之美番外篇：平凡而又神奇的贝叶斯方法

关于贝叶斯网络的优点：

• 简化模型表达方式
• 相比于传统的计算方式更加易于计算

模型的独立性问题

假设我们有这样一个例子：
有一天早晨，Bruce离开他的房子的时候发现他家花园中的草地是湿的，有两种可能，第一：昨天晚上下雨了，第二：他昨天晚上忘记关掉花园中的喷水器，接下来，他观察他的邻居Joe，发现他家花园中的草地也是湿的，因此，他推断，他家的草地湿了是因为昨天晚上下雨的缘故
我们可以通过模型来刻画这样的事件：

$R\in \{0 ,1\}$ R=1表示下雨0表示没有
$S \in \{0,1\}$ S=1表示Bruce忘记关喷水器0表示没有忘
$J \in \{0,1\}$ J=1表示Joe家里的花园草地也湿了0表示没有
$B \in \{0,1\}$ T=1表示Bruce的花园草地湿了0表示没有

在这里，有四个变量，每一个变量有两种状态属性0和1，如果要全部表示出来所有的可能性，需要$2^4=16$种方式，e.g. $p(T=1,J=0,R=1,S=1)=0.7$ etc. 根据贝叶斯法则，我们可以得到如下公式：

p(B,J,R,S)=p(B|J,R,S)p(J,R,S)=p(B|J,R,S)p(J,R,S)=p(B|J,R,S)p(J|R,S)p(R,S)=p(B|J,R,S)p(J|R,S)p(R|S)p(S)