文本分类算法--朴素贝叶斯

贝叶斯定理

贝叶斯定理用公式表示：

$$p(Y|X) = \frac{P(X|Y)P(Y)}{p(X)}$$

其中，$p(Y)$是先验概率，$P(Y|X)$是后验概率，也就是要求的概率。

朴素贝叶斯算法原理

朴素贝叶斯分类算法是一种生成模型。训练的过程是学习联合概率分布$p(x, y)$，预测的时候使用贝叶斯法则计算条件概率$p(y|x)$，选择条件概率最大的类别为最可能的预测类别。

基本方法：

假设训练数据集表示为：

$$T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

朴素贝叶斯通过训练数据集学习联合概率分布$P(X,Y)$，即：
* 先验概率分布：$P(Y=c_k), k=1,2,...,K$
* 条件概率分布：

$$P(X=x|Y=c_k) = P(x^{(1)}, ..., x^{(n)}|Y=c_k), k=1,2,...,K$$

根据条件独立性假设，也就是为朴素贝叶斯名字的由来，$x^{(1)}$,$x^{(2)}$,…,$x^{(n)}$之间相互独立，所以条件概率分布可以写作：

$$P(X=x|Y=c_k) = \prod_{j=1}^n{P(x^{(j)})|Y=c_k}$$

结合贝叶斯定理，可以得到：

$$P(Y=c_k|X=x) = \frac{P(Y=c_k)\prod_j{P(x^{(j)}|Y=c_k)}}{\sum_k{P(Y=c_k)}\prod_j{P(x^{(j)}|Y=c_k)}}$$

所以，贝叶斯分类器为：

$$y = f(x) = {argmax}_{c_k} \frac{P(Y=c_k)\prod_j{P(x^{(j)}|Y=c_k)}}{\sum_k{P(Y=c_k)}\prod_j{P(x^{(j)}|Y=c_k)}}$$

由于对不同的$c_k$，分母都是相同的，所以计算的时候通常省略分母。

后验概率最大化：朴素贝叶斯将实例分到后验概率最大的类中，也就是将期望风险最小化。

参数估计：

我们采用极大似然估计计算相应的概率，那么：
1. 先验概率的极大似然估计为:

$$P(Y=c_k) = \frac{\sum_{i=1}^NI(y_i = c_k)}{N}, k=1,2,...,K$$
2. 条件概率的极大似然估计为：
$$P(X^{(j)}=a_{jl}|Y=c_k) = \frac{N * \sum_{i=1}^NI(x_i^{(j)}=a_{jl}, y_i = c_k)}{\frac{\sum_{i=1}^NI(y_i=c_k)}{N}}$$

$$= \frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl}, y_i = c_k)}{{\sum_{i=1}^NI(y_i=c_k)}}$$

变量取值：$j=1,2,...,n$， $l=1,2,...,S_j$，$k=1,2,...,K$

从公式简单的理解，求参数就是一个计数的过程。先验概率就是计算每个类别出现的次数占总训练数量的比值。条件概率就是计算每个特征和类别同事出现的次数占类别出现次数的比值。

朴素贝叶斯优缺点以及应用场景

优点：
* 一次遍历，训练速度快，预测速度也快
* 对流数据友好
* 容易实现

缺点：
* 假设特征之间独立，而实际上较难实现

NB in scikit-learn

scikit-learn中实现了三种朴素贝叶斯的方法，也就是贝叶斯的三个变种，分别为：
* Gaussian
高斯模型假设特征的分布服从高斯分布或者正态分布。

$$P(x_j|C_i) = \frac{1}{\sqrt{2\pi{\sigma_{C_i}^2}}}exp(-\frac{(x_j - \mu{C_j})^2}{2\sigma_{C_i}^2})$$

from sklearn.naive.bayes import GaussianNB

• Multinomial
  当训练数据分布服从多项式分布时，适合使用多项式朴素贝叶斯模型。在文本分类应用中，当考虑一篇文章中的重复词语的时候，使用多项式模型。

from sklearn.naive.bayes import MultinomialNB

• Bernoulli
  当训练数据分布服从二项分布时，使用伯努利模型，也就是文本分类中重复的词语视为一个出现一次，使用的模型。这种模型在垃圾邮件检测上效果很好。

from sklearn.naive.bayes import BernoulliNB

python代码实现

用python实现的朴素贝叶斯用于文本分类的代码已经上传到GITHUB上。

参考和进一步阅读

1. 李航老师的《统计学习方法》
2. NLP系列(2)_用朴素贝叶斯进行文本分类(上)
3. NLP系列(3)_用朴素贝叶斯进行文本分类(下)
4. NLP系列(4)_朴素贝叶斯实战与进阶