数据挖掘 贝叶斯网络

贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

   
 贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很好的优势，在多个领域中获得广泛应用。  

   

   其中P(A|B)是在B发生的情况下A发生的可能性。

   在贝叶斯定理中，每个名词都有约定俗成的名称：

    P(A)是A的先验概率。之所以称为"先验"是因为它不考虑任何B方面的因素。 

    P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。 

    P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。 

    P(B)是B的先验概率. 

联合概率：设A，B是两个随机事件，A和B同时发生的概率称为联合概率，记为：P(A, B)；
条件概率：在B事件发生的条件下，A事件发生的概率称为条件概率，记为：P(A|B)；
乘法定理：P(A|B) = P(A, B) / P(B)。 
下面来看看两个例子：

除了数据本身的属性以外上面两个数据表还有哪些地方不一样？
第一个表中的属性之间是可以独立的，但是第二个报的属性之间是不可以相互独立的。

在我们讨论朴素贝叶斯分类时，朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立。实际上在现实应用中几乎不可能做到完全独立。比如说人的职业有矿工，肺部疾病的发病率在这类人群当中是很高的，远远要高于普通人群。这时候再用朴素的贝叶斯分类是绝对不可行的。当属性之间是相互独立是的时候，这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。


接下来讨论贝叶斯分类中更高级、应用范围更广的一种算法——贝叶斯网络（又称贝叶斯信念网络或信念网络）。

贝叶斯网络

贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很好的优势，在多个领域中获得广泛应用。

贝叶斯网络又称信度网络，是Bayes方法的扩展，目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG),由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。 

贝叶斯信念网的概述

贝叶斯网络是一种图形模型(概率理论和图论相结合的产物)，又被称为贝叶斯信念网络、因果网络，是描述随机变量(事件)之间依赖关系的一种图形模式。是一种将因果知识和概率知识相结合的信息表示框架，使得不确定性推理在逻辑上变得更为清晰．理解性更强。已经成为数据库中的知识发现和决策支持系统的有效方法。从大量数据中构造贝叶斯网络模型，进行不确定性知识的发现。
贝叶斯网络由网络结构和条件概率表两部分组成。贝叶斯网的网络结构是一个有向无环图（DCG）．由结点和有向弧段组成。每个结点代表一个事件或者随机变量，变量值可以是离散的或连续的，结点的取值是完备互斥的。表示起因的假设和表示结果的数据均用结点表示。
如下图所示:

                                                

贝叶斯模型

网络的组成：
（1）一个有向无环图：表示变量之间的依赖关系
（2）一个概率表：把各结点与它的直接父结点关联起来
贝叶斯网络的一个重要性质：
     贝叶斯网络中的一个结点，如果它的父母结点已知，则它条件独立于它的所有非后代结点
概率表的建立

（1）如果结点X没有父母结点，则表中只包含先验概率P（X）；
（2）如果结点X只有一个父母结点Y，则表中包含条件概率P（X|Y）。
（3）如果结点X有多个父母结点{Y1，Y2，...,Yk}，则表中包含条件概率P（X|Y1，Y2，...,Yk）。

1.防盗报警问题:
假如X在家中安装了一个警报器
在检测到盗窃或者地震时响铃。
X与邻居John和Mary约定：
在X外出工作时，一旦听到警报声
就马上电话通知X。
该问题有五个随机变量：
Burglary 、Earthquake、
Alarm、
JohnCalls、MaryCalls。

试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时John和Mary都给你打电话的概率。
解：
   P(j,m,a,~b,~e) = P(j|a)P(m|a)P(a|~b,~e) P(~b) P(~e)
    = 0.9x0.7x0.001x0.999x0.998 = 0.00062
    = 0.062%

贝叶斯网络具有如下特性：

1。贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 
2。贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。

3。贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。 
      目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。

 在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你可能会认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你可能会认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络(Bayesian Network)实质上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。 

贝叶斯网络是一系列变量的联合概率分布的图形表示。 　一般包含两个部分，一个是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。

 贝叶斯网络基础 　　

首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。 　　

假设： 　　命题S(moker)：该患者是一个吸烟者 　　命题C(oal Miner)：该患者是一个煤矿矿井工人 　　命题L(ung Cancer)：他患了肺癌 　　命题E(mphysema)：他患了肺气肿 　　命题S对命题L和命题E有因果影响，而C对E也有因果影响。 　　命题之间的关系可以描绘成如右图所示的因果关系网。 　　因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。

贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一不可。 　　贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。 　　贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。

从贝叶斯网的实例图中，我们不仅看到一个表示因果关系的结点图，还看到了贝叶斯网中的每个变量的条件概率表（CPT）。因此一个完整的随机变量集合的概率的完整说明不仅包含这些变量的贝叶斯网，还包含网中变量的条件概率表。

 图例中的联合概率密度： 　　

P(S,C,L,E)=P(E|S,C)*P(L|S)*P(C)*P(S) 　　

推导过程：P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)（贝叶斯定理） 　　＝P(E|S,C)*P(L|S)*P(C)*P(S) 　　

即：P(E|S,C,L) ＝ P(E|S,C), E与L无关 　　　　P(L|S,C)= P(L|S)　　　　L与C无关 　　　　P(C|S)=P(C) 　　　　　　C与S无关 　　以上三条等式的正确性，可以从贝叶斯网的条件独立属性推出：每个变量与它在图中的非继承节点在概率上是独立的。 　　相比原始的数学公式： 　

　P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S) 　　

推导过程： 　

　由贝叶斯定理， P(S,C,L,E)=P(E|S,C,L)*P(S,C,L) 　　

再由贝叶斯定理 P(S,C,L)= P(L|S,C)* P(S,C) 　

　同样， P(S,C)=P(C|S)*P(S) 　　以上几个等式相乘即得原式。

显然，简化后的公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。 　　贝叶斯网络是一系列变量的联合概率分布的图形表示。这种表示法最早被用来对专家的不确定知识编码，今天它们在现代专家系统、诊断引擎和决策支持系统中发挥了关键作用。贝叶斯网络的一个被经常提起的优点是它们具有形式的概率语义并且能作为存在于人类头脑中的知识结构的自然映像。这有助于知识在概率分布方面的编码和解释，使基于概率的推理和最佳决策成为可能。

贝叶斯网的推理模式 　　在贝叶斯网中有三种重要的推理模式，因果推理（由上向下推理），诊断推理（自底向上推理）和辩解。 3．5．2．1 因果推理 　　让我们通过概述的实例来说明因果推理得过程。给定患者是一个吸烟者（S），计算他患肺气肿（E）的概率P(E|S)。S称作推理的证据，E叫询问结点。 　　首先，我们寻找E的另一个父结点（C），并进行概率扩展 　　　P(E|S)=P(E,C|S)+P(E,~C|S); 　　即，吸烟的人得肺气肿的概率为吸烟得肺气肿又是矿工的人的概率与吸烟得肺气肿不是矿工的人的概率之和，也就是全概率公式。

然后利用Bayes定理：

　P(E|S)=P(E|C,S)*P(C|S)+P(E|~C,S)*P(~C|S); 　公式解释：P(E,C|S)＝P(E,C,S)/P(S) 　　　　　　＝P(E|C,S)*P(C,S)/P(S)(贝叶斯定理) 　　　　　　＝P(E|C,S)*P(C|S)(反向利用贝叶斯定理) 　同理可以得出P(E,~C|S)的推导过程。需要寻找该表达式的双亲结点的条件概率，重新表达联合概率（指P(E,C|S)，P(E,~C|S)）。 　　
    在图中，C和S并没有双亲关系，符合条件独立条件： 　　　P(C|S)=P(C), 　　　P(~C|S) = P(~C), 　由此可得： 　　　P(E|S) = P(E|S,C)*P(C)+P(E|~C,S)*P(~C)

建立了这样的贝叶斯网络以后有啥用了？

贝叶斯网络作为一种不确定性的因果推理模型，其应用范围非常广，在医疗诊断、信息检索、电子技术与工业工程等诸多方面发挥重要作用，而与其相关的一些问题也是近来的热点研究课题。例如，Google就在诸多服务中使用了贝叶斯网络。

例：现有一个人，请判断这个人是矿工，并且他不抽烟，之前他做了X光线，而且没有出现肺气肿也没有感觉到呼吸困难，也没有支气管炎，然后他还患有肺癌的概率有多大？
 P(C,~S,~E,L,~B,X,~D)
=P(C)P(~S)P(~E|C,~S)P(L|~S)P(~B|~S)P(X|~E,L)P(~D|L,~B)
=0.11*0.42*0.38*0.05*0.89*0.83*0.67
=0.00043

例：现有一个人，他从事矿工这个职业，他常抽烟。那么这个人患有肺气肿，同时患有肺癌、支气管炎，并且伴有呼吸困难、需要做X光线的概率是多大？
 P(E,L,B,X,D)
=P(E)P(L)P(B)P(X|E,L)P(D|L,B)
=0.83*0.62*0.74*0.96*0.98
=0.358

总结

一个贝叶斯网络由网络结构表示其定性部分，由条件概率分布表示其定量部分。除了对域进行定义，这两部分必须加以指明以构成一个贝叶斯网络，之后在一个基于知识的系统中被用作推导引擎。
　　构造贝叶斯网络可分为四个阶段。
　　(1)定义域变量：在某一领域，确定需要哪些变量描述该领域的各个部分，以及每个变量的确切含义。
　　(2)确定网络结构：由专家确定各个变量之间的依赖关系，从而获得该领域内的网络结构。在确定网络结构时必须注意要防止出现有向环。
　　(3)确定条件概率分布：通过由专家确定的网络结构来量化变量之间的依赖关系。
　　(4)运用到实际系统中，并根据系统产生的数据优化贝叶斯网络。
　　贝叶斯网络理论将先验知识与样本信息相结合、依赖关系与概率表示相结合，是数据挖掘和不确定知识表示的理想模型。与数据挖掘中的其他方法如：粗糙集理论、决策树、人工神经网络等相比，贝叶斯网络具有下列优点。
　　①贝叶斯网络将有向无环图与概率理论有机结合，不但具有正式的概率理论基础，同时也具有更加直观的知识表示形式。一方面，它可以将人类所拥有的因果知识直接用有向图自然直观地表示出来，另一方面，也可以将统计数据以条件概率的形式融入模型中。这样贝叶斯网络就能将人类的先验知识和后验的数据完美地结合，克服框架语义网络等模型仅能表达处理信息的弱点和神经网络等方法不直观的缺点。
　　②贝叶斯网络与一般知识表示方法不同的是对于问题域的建模，当条件或行为等发生变化时，不用对模型进行修正。
　　③贝叶斯网络可以图形化的方式表示随机变量间的联合概率，能够处理各种不确定信息。
　　④贝叶斯网络没有确定的输入或输出结点，结点之间是相互影响的，任何结点观测值的获取或者对于任何结点的干涉，都会对其他结点造成影响，并可以利用贝叶斯网络推理来进行估计和预测。
　　贝叶斯网络的推理是以贝叶斯概率理论为基础的，不需要外界的任何推理机制，不但具有理论依据，而且将知识表示与知识推理结合起来，形成统一的整体。

贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统等领域。这些成功的应用，充分体现了贝叶斯网络技术是一种强有力的不确定性推理方法。 
贝叶斯网络在人工智能方面应用的也广泛。