之前,我探讨过“决策树归纳”的分类方法(详见:决策树归纳),本文我将介绍另一中比决策树更加简单的,用概率方法分类的技术——“朴素贝叶斯分类”。
贝叶斯定理
贝叶斯定理是概率论中非常简单基础的定理,其解决的核心点在于根据已有信息,对未知事物发生结果的概率计算。就拿分类这件事来说(分类的相关概念我已经在上一篇博文:决策树归纳中说得相当清楚,故不再赘述),如果现在有一个数据对象 X ,
与此同时,用符号
条件概率
至此,明白了这些概念,可以引入贝叶斯定理了。首先先提一下概率论中著名的条件概率公式。设 A 和
意思非常容易理解,在已知 B 发生的前提下,发生
-
A :至少有一个是女孩- B :至少有一个是男孩
P(A|B)=P(AB)P(B)=12/34=23 而如果直接计算 P(A) 得到的结果是 P(A)=3/4 .
乘法公式
我们可以将条件概率公式变形,这就得到了乘法公式:
P(AB)=P(A|B)P(B)全概率公式
再拓展一步,假设样本空间 Ω 中有 n 个事件
B1,B2,…,Bn 互不相容,且 ⋃ni=1Bi=Ω ,则根据乘法公式,存在:∑i=1nP(ABi)=∑i=1nP(A|Bi)P(Bi)=P(A)上面这个公式也就是所谓的全概率公式。
贝叶斯公式
最后根据乘法公式和全概率公式,可以最终得到贝叶斯公式:
P(Bi|A)=