第七章 贝叶斯分类器

1、贝叶斯决策论

是在概率框架下实施决策的基本方法。对于分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择的类别标记。

2、贝叶斯分类准则

为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记；

3、朴素贝叶斯分类器

（1）为了降低贝叶斯公式中估计后验概率P(c| x)的困难，朴素贝叶斯分类器采用属性条件独立性假设，但在现实任务中这个假设很难成立。
（2）现实任务中的贝叶斯分类器的多种使用方式：若任务对预测速度要求较高，则对给定训练集，可将朴素贝叶斯分类器涉及的所有概率估计事先算好存储起来，这样在进行预测时只需要查表即可进行判别；若任务数据更替频繁，则可采用‘懒惰学习’的方式，先不进行任何训练，待收到预测请求时再根据当前数据集进行概率估值；若数据不断增加，则可在现有估值基础上，仅对新增样本的属性值所涉及的概率估值进行计数修正即可实现增量学习。

4、半朴素贝叶斯分类器

（1）半朴素贝叶斯分类器的基本想法是适当的考虑一部分属性间的相互信息，从而既不需进行完全联合概率计算，又不至于彻底忽略了比较强的属性关系。
（2）独依赖估计：假设每个属性在类别之外只依赖于一个独立的属性，即：

其中，$p{a}_i$为属性$x_i$所依赖的属性，称为$x_i$的父属性。
（3）TAN是在最大带权生成树算法的基础上，通过以下步骤将属性间的依赖关系约简为如图所示的树形结构

1、计算任意两个属性之间的条件互信息：

2、以属性为节点构建完全图，任意两个节点之间边的权重设为$I(x_i,x_j|y)$;
3、构建此图完全图的最大带权生成树，挑选根变量，将边置为有向；
4、加入类别节点$y$，增加从$y$到每个属性的有向边；

5、贝叶斯网络

1、贝叶斯网络： 又称“信念网”，它借助一个有向无环图和一个条件概率表来描述属性的联合概率分布。用B=<G,Θ>来表示，其中G代表有向无环图，Θ表示每个属性的条件概率表。以下是一个以西瓜问题为例的例子：

2、对于联合概率分布的定义：

以上面的西瓜问题为例：
P_B($x1,x2,x3,x4,x5$)=P($x1$)P($x2$)P($x3|x1$)P($x4|x1,x2$)P($x5|x2$)

未完待续。。。。。。。。。。。。。。。。。。。。。。