贝叶斯网络

贝叶斯网络

主要内容：
1、复习本次用到的知识
相对熵、互信息（信息增益）
2、朴素贝叶斯
3、贝叶斯网络的表达
条件概率表参数个数分析
马尔科夫模型
4、D-separation
条件独立的三种模型
Markov Blanket
5、网络的构建流程
混合（离散+连续）网络：线性高斯模型
6、Chow-Liu算法：最大权生成树MSWT

复习：相对熵
相对熵，又称为互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等。
设p(x),q(x)是X中取值的两个概率分布，则p对q的相对熵是：

说明：

复习：互信息
两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。

复习：信息增益
信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度。
定义：特征A对训练数据集D的信息增益g(D,A),定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差即：
g(D,A) = H(D)-H(D|A)
显然，这即为训练数据集D和特征A的互信息。
重要概率公式：

贝叶斯公式思考：

朴素贝叶斯

高斯朴素贝叶斯：

多项分布朴素贝叶斯：

贝叶斯网络：


贝叶斯网络等价于有向无关图

全连接贝叶斯网络无任何信息丢失