Bayesian Network和Markov Blanket

Bayesian Network 贝叶斯网络

贝叶斯网络是一种概率图模型，以有向无环图（DAG，Directed Acyclic Graph）的形式描述变量的联合分布概率分布（Joint Probabilistic Distribution）：图中的node表示随机变量，边表示节点与节点之间的dependency relationship。

数学定义：

给定一组变量$V$，Bayesian Network是由一个有向无环图$G=(V,E)$以及对应的联合概率分布$P(V)$构成，并且该图和概率分布满足Markov Condition：
对于$X\in V$，给定$X$的父亲节点$Pa(X)$，根据$P(V)$，$X$独立于在图中它所有的非后代节点（non-descendant nodes）。

由贝叶斯网络的Markov Condition，我们可以得到：

$$P(V)=\prod_{X\in V}P(X|Pa(X))$$

BN的两个重要性质：
- encodes the conditional independence relationships between the variables in the graph structure
- a compact representation of joint probability distribution over variables

三种连接关系

‘

Markov Blanket

Markov Blanket 是这样一组变量：给定一个目标变量的Markov Blanket，其他变量与目标变量都是独立的，在图上就是目标变量的父亲，孩子以及配偶（也具相同孩子的父亲）。从理论上来讲，MB已经包含了预测目标变量的所有信息。MB经常用来筛选特征。

---

参考资料

A tutorial on Bayesian Network
A Tutorial on Inference and Learning in Bayesian Networks