朴素贝叶斯(Naive Bayes)是一种简单的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。很多教材都从这些案例出发,本文就不重复这些内容了,而把重点放在理论推导(其实很浅显,别被“理论”吓到),三种常用模型及其编码实现(Python)。
如果你对理论推导过程不感兴趣,可以直接逃到三种常用模型及编码实现部分,但我建议你还是看看理论基础部分。
另外,本文的所有代码都可以从我的github获取
1. 朴素贝叶斯的理论基础
朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法。
这里提到的贝叶斯定理、特征条件独立假设就是朴素贝叶斯的两个重要的理论基础。
1.1 贝叶斯定理
先看什么是条件概率。
P(A|B)表示事件B已经发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率。其基本求解公式为: P(A|B)=P(AB)P(B)
贝叶斯定理便是基于条件概率,通过P(A|B)来求P(B|A):
P(B|A)=P(A|B)P(B)P(A)
顺便提一下,上式中的分母P(A),可以根据全概率公式分解为:
P(A)=∑ni=1P(Bi)P(A|Bi)
1.2 特征条件独立假设
这一部分开始朴素贝叶斯的理论推导,从中你会深刻地理解什么是特征条件独立假设。
给定训练数据集(X,Y),其中每个样本x都包括n维特征,即 x=(x1,x2,x3,...,xn) ,类标记集合含有k种类别,即 y=(y1,y2,...,yk) 。
如果现在来了一个新样本x,我们要怎么判断它的类别?从概率的角度来看,这个问题就是给定x,它属于哪个类别的概率最大。那么问题就转化为求解 P(y1|x),P(y2|x),...,P(yk|x) 中最大的那个,即求后验概率最大的输出: argmaxykP(yk|x)
那 P(yk|x) 怎么求解?答案就是贝叶斯定理:
P(yk|x)=P(x|yk)P(yk)P(x)
根据全概率公式,可以进一步地分解上式中的分母:
P(yk|x)=P(x|yk)P(yk)∑kP(x|yk)P(