朴素贝叶斯分类器（带数学推导）

贝叶斯分类器

最小错误率决策

基于先验知识求解后验分类器

 两类问题：ω1和ω2

 先验概率：P(ω1) 和P(ω2)

 类概率密度函数：p(x|ω1) 和p(x|ω2)

 发生了一个随机事件，其观察值为：特征向量x

 求最小错误率分类器

决策规则：比较后验概率，取最大值进行类别判断，

决策规则一：比较分子 p(x|ω1)P(ω1) 和 p(x|ω2)P(ω2) ，取最大值

决策规则二：似然比

决策规则二：负对数似然比

最小错误率贝叶斯决策的特点

 已知条件多——各类概率分布

 最小错误率——概率意义上最优

 非线性分类器

 设计过程复杂（类概率密度函数）

最小风险贝叶斯决策

当决策带来不必要的风险时，就必须考虑降低决策的风险，定义决策与决策空间，定义损失函数，使用期望风险最小的类别作为决策结果。

已知条件：

期望风险求解并取min：

一般的，最小错误率贝叶斯决策等价于0-1损失函数的最小风险贝叶斯决策。

最小风险贝叶斯决策的特点

 已知条件多——各类概率分布及风险系数

 最小错误风险——概率意义上最优

 非线性分类器

 设计过程复杂

正态分布下的贝叶斯分类器设计

多元正态分布：

假设类条件概率符合二维正态分布，也就是P(x∣wi)

取对数并舍去无关项 −d/2ln2π 有：

则判别函数与分类决策边界为：

考虑一般情况，每一个样本的协方差矩阵都相等，类内各个特征维度间相互独立，且方差相同，但是先验概率不同：

则得到线性判别形式的判别函数：

决策边界为：

可以看出在这种特定的条件下，贝叶斯分类器属于线性分类器。

贝叶斯错误率计算

1.按理论公式求解

2.按错误率上界求解

3.实验估计错误率

（半）朴素贝叶斯分类器与贝叶斯网络

在使用贝叶斯决策时，有两个条件必须是已知的：

1.各种样本出现的整体先验概率
2.各类中取得特征空间中某个点的类条件概率

先验概率可以从大量数据统计中得到，类条件概率需要从数据统计中估计，根据某一类的样本在各个维度上的特征值来估计其概率分布情况。这个概率分布，是一个各个特征维度上的联合概率分布，如果各个维度不独立，则估计很困难。

所以做“属性条件独立性假设”，各个特征相互独立，这时叫朴素贝叶斯分类器。

如果对假设做一点放松，假设每个属性在类别之外最多仅依赖一个其他属性（父属性），就叫做半朴素贝叶斯分类器。

如果利用有向无环图刻画属性之间的依赖关系，使用条件概率表（离散属性）或条件概率密度函数（连续属性）表述属性的联合概率分布， 就可以有效表达属性间的条件独立性，这时就叫做贝叶斯网络，求解贝叶斯网络时，要通过评分函数评估贝叶斯网络与训练数据的契合程度。