机器学习——朴素贝叶斯

目录

一、什么是朴素贝叶斯？

1、贝叶斯定理

2、朴素贝叶斯

 3、朴素贝叶斯分类器

4、拉普拉斯修正

 5、防溢出策略

二、使用朴素贝叶斯过滤垃圾邮件

三、实验总结 

1、实验中发生错误

2、总结

朴素贝叶斯的优点和缺点

---

一、什么是朴素贝叶斯？

1、贝叶斯定理

已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率：

      表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：

                                                         

      贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)，贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路。

      下面不加证明地直接给出贝叶斯定理：

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

 

2、朴素贝叶斯

朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。对于大多数的分类算法，在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树，KNN，逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数，要么是条件分布。但是朴素贝叶斯却是生成方法，该算法原理简单，也易于实现。

    贝叶斯公式：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

 

                                                       （X：特征向量， Y：类别）

　　先验概率P(X) 、 P(Y)：先验概率是指根据以往经验和分析得到的概率。

　　后验概率P(Y|X)：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，后验分布P(Y|X)表示事件X已经发生的前提下，事件Y发生的概率，叫做事件X发生下事件Y的条件概率。

　　后验概率P(X|Y)：通常它除以P(X)被叫做调整因子，可能性函数。在已知Y发生后X的条件概率，也由于知道Y的取值而被称为X的后验概率。

　　朴素：朴素贝叶斯算法是假设各个特征之间相互独立，然而现实生活中这样的事件不存在，也是朴素这词的意思，那么贝叶斯公式中的P(X|Y)可写成：

                                        

 

　　朴素贝叶斯公式：

                                        

 3、朴素贝叶斯分类器

朴素贝叶斯分类器(Naïve Bayes Classifier)采用了“属性条件独立性假设” ，即每个属性独立地对分类结果发生影响。为方便公式标记，不妨记P(C=c|X=x)为P(c|x)，基于属性条件独立性假设，贝叶斯公式可重写为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

其中d为属性数目， 为   在第  个属性上的取值。

由于对所有类别来说 P(x)相同，因此MAP判定准则可改为：

                                                

其中    和   为目标参数。

        朴素贝叶斯分类器的训练器的训练过程就是基于训练集D估计类先验概率  ，并为每个属性估计条件概率   。

        令