贝叶斯网络

贝叶斯

相对熵

相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，KL散度等。相对熵可以度量两个随机变量的“距离”。
设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是

一般的，D(pllq）≠D(qllp)，D(pllq)≥0，D(qllp)≥0。

互信息

信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度。
定义：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即:
g(D,A)=H(D)-H(D|A)
显然，这即为训练数据集D和特征A的互信息。

贝叶斯公式

朴素贝叶斯

一个特征出现的概率，与其他特征(条件)独立(特征独立性)。其实就是对于给定分类的条件下，特征独立每个特征同等重要(特征均衡性)。

朴素贝叶斯基于各特征之间相互独立，在给定类别为y的情况下，上式可以进一步表示为下式：

由以上两式可以计算出后验概率为：

由于P(X)的大小是固定不变的，因此在比较后验概率时，只比较上式的分子部分即可。

贝叶斯网络

把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。
贝叶斯网络(Bayesian Network)，又称信念网路(belief network)或是有向无环图模型(directed acyclic graphical model ,DAG)，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量{Xp,x…X.}及其n组条件概率分布(Conditional Probability Distributions, CPD)的性质。

一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。连接两个节点的箭头代表此两个随机变量是具有因果关系(或非条