朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法，他可以预测样本类隶属度的概率，通过训练集数据进行联合密度计算，然后对待分类的样本进行使用贝叶斯定理求出后验概率最大的类别y。

特征条件独立假设：

朴素贝叶斯分类方法假设每个特征词之间都没有任何影响，特征词之间是相互独立存在的，此假设为条件独立假设，该假设是为了方便计算。

贝叶斯定理：

条件概率：

P(X)是X先验概率，P(Y)是先验概率，P(Y|X)和P(X|Y)都是后验概率。表明了在条件X下发生Y的概率。

当我们要对待分类样本进行分类时，首先将样本转化为特征向量，特征向量如下图所示。该图中表示了样本中有m个特征词。

而在分类问题是一个样本划归的问题，故训练数据集中有多个类别，设数据集中有K个类别，在S_k类别中的条件概率为

上式中利用条件独立假设方法，将样本的概率转换为特征词相乘的概率。由于，朴素贝叶斯方法是找到最大的后验概率分布P(Y=C_k|X=x)，将后验概率最大的类作为x的类输出，后验概率根据贝叶斯定理计算，朴素贝叶斯公式如下

将上述2式进行合并，得到

于是，得到了朴素贝叶斯公式。朴素贝叶斯分类器为

由于上式中的分母对所有的类别C_k都相同，故公式简化为

优缺点：

贝叶斯算法可以对文本的分类做出科学性判断，操作简单方便，计算复杂度小，数据缺失对该算法影响不大，适用于大量数据的计算。因为贝叶斯算法是通过最大化后验概率来实现的，所以算法原理易于理解，能够被解释。使用朴素贝叶斯解决文本分类问题必须满足位置独立性以及条件独立性的假设，但是这两个假设在实际中并不成立。

例子

该表中是15个训练数据，X(1)取值为1,2,3；X(2)取值为S,M,L；Y的取值为1或者-1；计算（2，S）的Y值

（1）计算所有类别的概率，即P(Y=C_k)概率

（2）计算所有的条件概率，即P(X=x|C_k)概率

则将计算（2,S）的Y值：

得知1/15最大，所以（2,S）的Y值为-1；

参考文献

https://blog.csdn.net/amds123/article/details/70173402

https://blog.csdn.net/li8zi8fa/article/details/76176597

统计学习方法

基于朴素贝叶斯的文本分类算法研究