3.朴素贝叶斯

朴素贝叶斯

一、朴素贝叶斯概述

    朴素贝叶斯是基于贝叶斯定理和特征条件独立假设方法的分类方法。即根据先验概率和条件概率求后验概率。.

    之所以叫朴素是因为不同维度的特征之间相互独立，若不同维度之间有了依存关系则称为贝叶斯网络。

    朴素贝叶斯分类，即判断所计算的后验概率中，属于最大的一类的概率，该类别即为该样本的类别。

二、概念理解

    联合概率分布为：P(X=x,Y=Ck)

    条件概率分布为：P(X=x|Y=Ck)

    先验概率分布为：P(Y=Ck)

    后验概率分布为：P(Y=Ck|X=x)

    条件独立性假设：

三、朴素贝叶斯分类原理（目标函数）

四、目标函数的推导

    1）后验概率根据贝叶斯公式可得

    2）把条件独立性假设带进来可得到：

    3）朴素贝叶斯分类器表示为：

    4）对于所有数值分母都是一样，因此去掉分母可以得到上述的朴素贝叶斯最终的分类公式

五、朴素贝叶斯的参数(即估计先验概率和条件概率)估计方法：极大似然估计、贝叶斯估计、拉普拉斯平滑。条件概率的贝叶斯估计如下：

    即在分子和分母中加入了参数，防止有估计的概率为0的情况。其中Sj为特征在第j维度可以取值的个数，

六、参考

    李航的《统计学习方法》