【机器学习】朴素贝叶斯算法（Naive Bayes，NB）

贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。

01

贝叶斯 

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

首先讲一下概率论中的知识，引用宇哥的一个经典例子。

现在，有三个小偷，小张、小政、小英，分别记为A1、A2、A3，去一个村子偷东西。分为两个阶段：

（一）选人：小张、小政、小英

（二）去偷：村子失窃，记为B

全概率公式

三个小偷都有可能去该村子偷东西，那么这个村子失窃的可能性就要考虑这三个小偷去偷东西的总概率。

解释一下上述推导过程，P(B|A) 表示在 A 的情况下 B 发生的概率。结合题意理解为，任意一个小偷去偷，偷窃成功的情况；P(A) 表示其中一个小偷准备去这个村子行窃的概率。下面总结出一个通用的公式：

贝叶斯公式

有了全概率公式，现在可以看看贝叶斯公式了。

贝叶斯公式是在 B 已经发生的情况下，执果索因。也就是本例中，已经得知该村子失窃，现在要判断是谁行窃的可能性最大。可以表示为：

这样，我们就把已知每个人作案成功的概率转化为已知失窃，判别是谁作案的问题。这样的问题是很常见的，先验概率一般是已知的，通过它来求得后验概率。上面的公式也许有人看不太明白，这里写一个简单的贝叶斯公式：

我们把P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

后验概率　＝　先验概率 ｘ 调整因子

02

朴素贝叶斯