贝叶斯定理 php,朴素贝叶斯及贝叶斯网络简介

贝叶斯网络

贝叶斯网络的定义

贝叶斯网络(Bayesian network)，又称信念网络(Belief Network),或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出，它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓扑结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点表示随机变量

，他们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系(或非条件独立)的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是"因(parents)"，另一个是"果(children)"，两节点就会产生一个条件概率值。

总而言之，连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。

例如，假设节点E直接影响到节点H，即E->H,则用从E指向H的箭头建立节点E到节点H的有向弧(E,H),权值(即连接强度)用条件概率

来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

令G=(I,E)表示一个有向无环图(DAG)，其中I代表图形中所有的节点的集合，而E代表有向连接线段的集合，且令

为其有向无环图中的某一节点i所代表的随机变量，若节点X的联合概率可以表示成：

则称X为相对于一有向无环图G的贝叶斯网络，其中

表示节点i之"因

，或称

是i的父母parents。此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：

如下图，便是一个简单的贝叶斯网络：

由上图

，

等于所有随机变量

的条件概率的乘积，即上边所说，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出。上式

，其中

的条件概率为

，

的条件概率为

，

的条件概率为

。

贝叶斯网络的3中结构形式

给定如下图的一个贝叶斯网络：

从图中可以比较直观的看出：

❶

的联合分布为：

❷

相互独立(对应head-to-head)，无相互依赖关系

❸

在

给定的条件下，是相互独立的。

形式1：head-to-head

贝叶斯网络的第一种结构形式如下图所示：

所以有

，化简后可得：

所以最后可得：

即在c未知得条件下，a，b被阻断(blocked)，是独立得，称之为head-to-head条件独立。

形式2：tail-to-tail

贝叶斯网络得第二种结构如下图所示：

①在c未知得条件下，有：

此时，无法得出

，即c未知时，a，b不独立。

②在c已知得条件下，有：

，然后将

带入式子中，得到

，即c已知时，a，b独立。

所以在c给定得条件下，a，b时被阻断(blocked)的，是独立的，称之为tail-to-tail条件独立。

形式3：head-to-tail

贝叶斯网络的第三种结构形式如下图所示：

还是分c未知和c已知两种情况:

①、c未知时，有：

，但无法推出

，即c未知时，a，b不独立

②c已知时，有：

所以在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为head-to-tail条件独立。

实心圆圈表示已知

根据之前对head-to-tail的讲解，我们已经知道，在xi给定的条件下，xi+1的分布和x1,x2…xi-1条件独立。意味着啥呢？意味着：xi+1的分布状态只和xi有关，和其他变量条件独立。通俗点说，当前状态只跟上一状态有关，跟上上或上上之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链(Markov chain)。且有：

接着，将上述结点推广到结点集，则是：对于任意的结点集A，B，C，考察所有通过A中任意结点到B中任意结点的路径，若要求A，B条件独立，则需要所有的路径都被阻断(blocked)，即满足下列两个前提之一：

A和B的"head-to-tail型"和"tail-to-tail型"路径都通过C；

A和B的"head-to-head型"路径不通过C以及C的子孙；

贝叶斯网络实例：