贝叶斯网络

贝叶斯网络、马尔科夫随机场(MRF, Markov RandomField)和因子图都属于概念图，因此它们都归属于机器学习中的概念图模型(PGM,Probability Graphical Model).

一：定义

贝叶斯网络，又称信念网络(Belief Network, BN), 或有向无环图模型，是由一个有向无环图(DAG,Directed acyclic graphical model)和条件概率分布(即知道P(xi|parent(xi))发生的概率构成，其中parent(xi)为指向xi的直接父节点)。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

那么给定了样本(包括特征和标签)，我们为什么要建立贝叶斯网络呢？

我们以一个简单的例子来说明：比如给定了训练样本(特征为Smoking,Bronchitis,Cancer,X-ray;标签为Dyspnoea；都为两点分布), 如何求得其联合概率分布?

       那么此时我们从数据中得出2^5-1=31个概率(即5位的二进制，如01111发生的概率就是一个)，才能当别人问你，该数据如p(s=1,b=1,c=0,x=0,d=1)发生的概率，你可以从这31个中找到它，就是它发生的概率。而对于贝叶斯网络，我们计算其联合概率，则不需要这么多参数，如下图为其贝叶斯网络的拓扑结构，其中给出了在(C,B)的条件下，D发生的概率，此时对于D，我们需要4个概率参数，同理，对于B，需要2个，C需要2个，X需要4个，D需要4个，S需要1个，因此为1+2+2+4+4=13。只要从样本数据中得到这13个参数概率的概率分布表，此时我们就可以计算出它们的联合概率分布。因此用贝叶斯网络大大简化了计算，同时如果给出了贝叶斯网路以及对应参数的条件概率分布表，就可以求得任何条件下的概率。

                                 

一个正常的贝叶斯网络的联合概率分布为：

贝叶斯网络模型的过程为：

   o  通过给定的样本数据，建立贝叶斯网络的拓扑结构和结点的条件概率分布参数。这往往需要借助先验知识和极大似然估计来完成。

   o  在贝叶斯网络确定的结点拓扑结构和条件概率分布的前提下，可以使用该网络，对未知数据计算条件概率或后验概率，从而达到诊断、预测或者分类的目的。

注意：网络拓扑结构中结点包含了训练样本的特征和标签.