朴素贝叶斯
一、朴素贝叶斯概述
朴素贝叶斯是基于贝叶斯定理和特征条件独立假设方法的分类方法。即根据先验概率和条件概率求后验概率。.
之所以叫朴素是因为不同维度的特征之间相互独立,若不同维度之间有了依存关系则称为贝叶斯网络。
朴素贝叶斯分类,即判断所计算的后验概率中,属于最大的一类的概率,该类别即为该样本的类别。
二、概念理解
联合概率分布为:P(X=x,Y=Ck)
条件概率分布为:P(X=x|Y=Ck)
先验概率分布为:P(Y=Ck)
后验概率分布为:P(Y=Ck|X=x)
条件独立性假设:
三、朴素贝叶斯分类原理(目标函数)
四、目标函数的推导
1)后验概率根据贝叶斯公式可得
2)把条件独立性假设带进来可得到:
3)朴素贝叶斯分类器表示为:
4)对于所有数值分母都是一样,因此去掉分母可以得到上述的朴素贝叶斯最终的分类公式
五、朴素贝叶斯的参数(即估计先验概率和条件概率)估计方法:极大似然估计、贝叶斯估计、拉普拉斯平滑。条件概率的贝叶斯估计如下:
即在分子和分母中加入了参数,防止有估计的概率为0的情况。其中Sj为特征在第j维度可以取值的个数,
六、参考
李航的《统计学习方法》