27贝叶斯分类（三）

标签：机器学习与数据挖掘
## 1. 贝叶斯信念网络
  朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。
  所以，我们使用贝叶斯信念网络（Bayesian Belief Network，BBN）或者直接叫做贝叶斯网络。它采用联合条件独立定义变量子集和有向非循环图（Directed Acyclic Graph，DAG）形式。其中，有向的意思指途中功能的弧指向一个方向，“非循环”意味着自即诶单没有返回到其任何祖先节点的弧存在。
  总而言之，需要两个东西，一个是条件概率表集合，另一个是有DAG。DAG中每一个节点表示一个随机变量，可以是可直接观测变量或隐藏变量，而有向边表示随机变量的条件依赖；条件概率表中的每一个元素对应DAG中唯一的节点，存储此节点对于其所有直接前驱点的联合条件概率。
贝叶斯网络有一条极为**重要的性质**，就是我们断言每一个节点在其直接前驱节点的值给定后（PS：一定是要值被给定之后，否则后面的独立不一定成立！），这个节点条件独立于其所有非直接前驱前辈节点。或者，说简单一点：**子节点的概率仅与其父节点有关**。
  这条特性的重要意义在于明确了贝叶斯网络可以方便计算联合概率分布。 本来，多变量非独立联合条件概率分布有如下求取公式： 
$$
P\left(\mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{n}\right)=\mathrm{P}\left(\mathrm{x}_{1}\right) \mathrm{P}\left(\mathrm{x}_{2} | \mathrm{x}_{1}\right) \mathrm{P}\left(\mathrm{x}_{3} | \mathrm{x}_{1}, \mathrm{x}_{2}\right) \ldots P\left(\mathrm{x}_{n} | \mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{n-1}\right)
$$
  在贝叶斯网络中，由于存在前述性质，任意随机变量组合的联合条件概率分布被化简成 ：
$$
P\left(\mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{n}\right)=\prod_{i=1}^{n} P\left(x_{i} | \text { Parents }\left(x_{i}\right)\right)
$$
（其中Parents表示xi的直接前驱节点的联合，概率值可以从相应条件概率表中查到。 ）
请注意，一旦建立网络节点的父子节点的关系，便意味着对其条件独立的强烈断言。