贝叶斯网络

转载于：http://blog.csdn.net/gnahznib/article/details/70244175

1、贝叶斯定理

P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。 
P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。 
P(A)是A的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何B方面的因素。 
P(B)是B的先验概率或边缘概率。 
贝叶斯定理可表述为：后验概率 = (相似度 * 先验概率) / 标准化常量 
也就是说，后验概率与先验概率和相似度的乘积成正比。 
比例P(B|A)/P(B)也有时被称作标准相似度，贝叶斯定理可表述为：后验概率 = 标准相似度 * 先验概率 
假设{Ai}是事件集合里的部分集合，对于任意的Ai，贝叶斯定理可用下式表示： 
 

2、贝叶斯网络

贝叶斯网络，由一个有向无环图(DAG)和条件概率表(CPT)组成。 
贝叶斯网络通过一个有向无环图来表示一组随机变量跟它们的条件依赖关系。它通过条件概率分布来参数化。每一个结点都通过P(node|Pa(node))来参数化，Pa(node)表示网络中的父节点。

如图是一个简单的贝叶斯网络，其对应的全概率公式为：

P(a,b,c)=P(c∣a,b)P(b∣a)P(a)

较复杂的贝叶斯网络，其对应的全概率公式为：

P(x1,x2,x3,x4,x5,x6,x7)=P(x1)P(x2)P(x3)P(x4∣x1,x2,x3)P(x5∣x1,x3)P(x6∣x4)P(x7∣x4,x5)

3、贝叶斯网络Student模型

一个学生拥有成绩、课程难度、智力、SAT得分、推荐信等变量。通过一张有向无环图可以把这些变量的关系表示出来，可以想象成绩由课程难度和智力决定，SAT成绩由智力决定，而推荐信由成绩决定。该模型对应的概率图如下： 

通过贝叶斯网络计算联合分布

条件概率公式如下:

P(A,B)=P(A|B)∗P(B)

Student模型中，全概率公式的表示:

P(D,I,G,L,S)=P(L|S,G,D,I)∗P(S|G,D,I)∗P(G|D,I)∗P(D|I)∗P(I)

通过本地依赖条件，可得:

P(D,I,G,L,S)=P(L|G)∗P(S|I)∗P(G|D,I)∗P(D)∗P(I)

由上面等式可得，联合分布产生于图中所有的CPD,因此编码图中的联合分布有助于减少我们所要存储的参数。