机器学习：朴素贝叶斯

朴素贝叶斯分类

朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。

设输入空间，输出空间为类标记集合。

训练集由独立同分布产生。

朴素贝叶斯分类时，对于给定输入，通过学习到的模型计算后验概率分布，将后验概率最大的类作为输出

由于对条件概率分布做出了条件独立性假设，于是

于是

因此，朴素贝叶斯分类器颗表示为：

朴素贝叶斯法的参数估计：

1、极大似然估计

其中，

设第个特征可能取值的集合为，则有

2、贝叶斯估计

由于极大似然估计可能出现需要估计的概率值为零的情况，而这会影响后验概率的计算，使分类产生偏差，于是可采用贝叶斯估计（也称最大后验估计）

常取，此时称为拉普拉斯平滑。