朴素贝叶斯理论推导与三种常见模型

朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。很多教材都从这些案例出发，本文就不重复这些内容了，而把重点放在理论推导（其实很浅显，别被“理论”吓到），三种常用模型及其编码实现（Python）。

如果你对理论推导过程不感兴趣，可以直接逃到三种常用模型及编码实现部分，但我建议你还是看看理论基础部分。

另外，本文的所有代码都可以从我的github获取

---

1. 朴素贝叶斯的理论基础

朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法。

这里提到的贝叶斯定理、特征条件独立假设就是朴素贝叶斯的两个重要的理论基础。

1.1 贝叶斯定理

先看什么是条件概率。

P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：$P(A|B)=\frac{P(AB)}{P(B)}$

贝叶斯定理便是基于条件概率，通过P(A|B)来求P(B|A)：

$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$

顺便提一下，上式中的分母P(A),可以根据全概率公式分解为：

$P(A)=\sum_{i=1}^{n}P(B_{i})P(A|B_{i})$

---

1.2 特征条件独立假设

这一部分开始朴素贝叶斯的理论推导，从中你会深刻地理解什么是特征条件独立假设。

给定训练数据集（X,Y），其中每个样本x都包括n维特征，即$x=({x_{1},x_{2},x_{3},...,x_{n}})$，类标记集合含有k种类别，即$y=({y_{1},y_{2},...,y_{k}})$。

如果现在来了一个新样本x，我们要怎么判断它的类别？从概率的角度来看，这个问题就是给定x，它属于哪个类别的概率最大。那么问题就转化为求解$P(y_{1}|x),P(y_{2}|x),...,P(y_{k}|x)$中最大的那个，即求后验概率最大的输出：$argmax_{y_{k}} P(y_{k}|x)$

那$P(y_{k}|x)$怎么求解？答案就是贝叶斯定理：

$P(y_{k}|x)=\frac{P(x|y_{k})P(y_{k})}{P(x)}$

根据全概率公式，可以进一步地分解上式中的分母：

P(yk|x)=P(x|yk)P(yk)∑kP(x|yk)P(