朴素贝叶斯分类
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。
设输入空间,输出空间为类标记集合
。
训练集由
独立同分布产生。
朴素贝叶斯分类时,对于给定输入,通过学习到的模型计算后验概率分布,将后验概率最大的类作为输出
由于对条件概率分布做出了条件独立性假设,于是
于是
因此,朴素贝叶斯分类器颗表示为:
朴素贝叶斯法的参数估计:
1、极大似然估计
其中,
设第
个特征
可能取值的集合为
,则有
2、贝叶斯估计
由于极大似然估计可能出现需要估计的概率值为零的情况,而这会影响后验概率的计算,使分类产生偏差,于是可采用贝叶斯估计(也称最大后验估计)
常取
,此时称为拉普拉斯平滑。