[机器学习] 朴素贝叶斯分类器

基础知识

  朴素贝叶斯分类器是基于贝叶斯决策理论的分类模型，首先来了解一下贝叶斯决策理论和概率论的相关知识。

贝叶斯决策理论

  概率决策是贝叶斯决策理论的核心思想。在执行分类任务的时候我们无法保证分类的结果总是正确的，贝叶斯决策理论的目的就是基于已有的相关概率来做出使得误判损失最低的决策。
  对于一个多分类任务，假定样本总共有 $m$ 类：$c_1,c_2,...,c_m$，我们定义将真实类别为 $j$ 的样本误判为 $i$ 产生的损失为 ${\lambda }_{ij}$，后验概率 $P(c_i|\mathbf{x})$ 表示将特征为 $\mathbf{x}$ 的样本分类为 $c_i$ 的概率。那么根据后验概率我们可以得到分类产生的期望损失(或者叫做样本 $\mathbf{x}$ 的条件风险)：
$$R(c_i|\mathbf{x})=\sum _{j=1}^m{\lambda }_{ij}P(c_j|\mathbf{x})\text{\hspace{1em}(1)}$$贝叶斯判定准则就是对于每个样本选择使上式达到最小的类别 $c$，从而使得整体的风险最小。如果定义误判损失 ${\lambda }_{ij}$如下：
$${\lambda }_{ij}=\{\begin{array}{ll}0,& \text{ if }i=j\\ 1,& \text{ otherwise }\end{array}\text{\hspace{1em}(2)}$$那么根据式(1)很容易得到
$$R(c|\mathbf{x})=1-P(c|\mathbf{x})\text{\hspace{1em}(3)}$$那么贝叶斯决策准则就可以转化为，对于样本 $\mathbf{x}$，选择使得 $P(c|\mathbf{x})$ 最大的类别 $c$ 作为样本 $\mathbf{x}$ 的类别。但通常我们无法直接得到 $P(c|\mathbf{x})$，所以需要根据一些先验知识从训练样本中估计得到。

先验概率和条件概率

  从贝叶斯定理可以得到
$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}\text{\hspace{1em}(4)}$$式中 $P(c)$ 表示类别 $c$ 的先验概率，$P(\mathbf{x}|c)$ 表示样本特征 $\mathbf{x}$ 相对于类别 $c$ 的条件概率(也称为似然)，$P(\mathbf{x})$ 对于所有类样本均相同，因此与类别无关。因此通过式(4)求最大后验 $P(c|\mathbf{x})$ 就转化为了通过训练样本估计$P(\mathbf{x}|c)$ 和 $P(c)$ 。
  对于 $P(c)$，假设训练集足够大，并且所有样本独立同分布，那么根据大数定律就可以用样本集中 $c$ 类样本出现的频率(即所占的比例)来表示 $P(c)$。对于$P(\mathbf{x}|c)$，由于 $\mathbf{x}$ 是一个向量，因此 $P(\mathbf{x}|c)$ 是一个联合概率，直接从有限的样本中得到这个概率是很难的，因此在估计 $P(\mathbf{x}|c)$ 时又有了一个假设：各属性特征之间是独立的。这样就可以得到
$$P\left(\mathbf{x}|c\right)=\prod _{i=1}^{d}P\left(x_i|c\right)\text{\hspace{1em}(5)}$$其中 $x_i$ 表示样本在第 $i$ 个特征上的取值，$d$ 表示特征维数。

朴素贝叶斯分类器

总结一下，朴素贝叶斯分类器是基于以下两个假设的：

1. 所有样本独立同分布；
2. 样本的各个特征之间也是相互独立的。

基于这两个假设，式(4)可以写成如下形式：
$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P\left(x_i|c\right)\text{\hspace{1em}(6)}$$朴素贝叶斯分类器的目标就是对于输入样本 $\mathbf{x}$，求式(6)取得最大值对应的 $c$，又由于$P(\mathbf{x})$ 与类别无关，因此朴素贝叶斯分类器的目标如下：
$$h_{nb}(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P\left(x_i|c\right)\text{\hspace{1em}(7)}$$式中 $\mathcal{Y}$ 表示类别集合。
  在大数定律的前提下，类的先验概率可以用类别的样本比例来表示
$$P(c)=\frac{|D_c|}{|D|}\text{\hspace{1em}(8)}$$ $|D|$ 表示训练样本数，$|D_c|$ 表示训练集中 $c$ 类样本的数量。估计 $P(x_i|c)$ 分特征取值离散和连续两种情况，对于离散取值的特征， $P(x_i|c)$ 可以通过下面的方式估计：
$$P\left(x_i|c\right)=\frac{|D_{c,x_i}|}{|D_c|}\text{\hspace{1em}(9)}$$ $|D_{c,x_i}|$ 表示 $c$ 类样本中第 $i$ 个特征取值为 $x_i$ 的样本数量。当特征取值连续的时候可以用概率密度函数来表示 $P(x_i|c)$ ，假定其服从正态分布：$P\left(x_i|c\right)\sim \mathcal{N}\left({\mu }_{c,i},{\sigma }_{c,i}^2\right)$，${\mu }_{c,i}$ 和 ${\sigma }_{c,i}$ 分别表示 $c$ 类样本中特征 $i$ 的均值和标准差，则
$$p\left(x_i|c\right)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp \left(-\frac{{\left(x_i-{\mu }_{c,i}\right)}^2}{2{\sigma }_{c,i}^2}\right)\text{\hspace{1em}(10)}$$
  这样朴素贝叶斯的数学分析和推导部分就基本结束了。接下来通过垃圾邮件分类的例子来实践一下。

朴素贝叶斯垃圾邮件分类器

  这里使用的数据集来自《机器学习实战》一书，代码也是根据书中代码修改。数据集由两个文件夹下的文本文件构成，文件夹的名称表明邮件的类别(spam/ham)，每个文本文都是一个邮件的内容。利用朴素贝叶斯对邮件进行分类主要分为以下几步：

1. 读取数据集。将每个邮件的内容读取为一个由单词组成的向量，正常邮件类别标记为1，垃圾邮件类别标记为0；
2. 得到所有样本中出现的不重复词列表；
3. 划分训练集和测试集，并根据不重复词列表将每个样本转化为数值向量；
4. 从训练样本中计算出先验概率 $P(c)$ 和条件概率 $P\left(x|c\right)$；
5. 根据式（7）对测试样本进行分类。

在得到不重复词向量vocabList之后，对每个样本进行数值转化的函数如下：

# 根据vocabList将句子转换为向量表示
def Word2Vec(vocabList, wordList):
    wordVec = [0] * len(vocabList)
    for word in wordList:
        if word in vocabList:  # 对出现在句子中的vocabList中的元素进行计数
            wordVec[vocabList.index(word)] += 1
	return wordVec

具体来说，对于每个原始样本，返回一个和vocabList相同长度的向量，其中每个元素为vocabList当前索引处的单词在样本中出现的次数。

  此外，具体实现的时候有两个问题需要注意：(1) 利用式(5) 求 $P\left(\mathbf{x}|c\right)$ 的时候如果其中一个$P\left(x_i|c\right)=0$，那么最终计算得到的 $P\left(\mathbf{x}|c\right)$ 也为0，这样显然不太合理，会将条件概率较大的特征也忽略，因此在实际计算 $P(c)$ 和 $P\left(\mathbf{x}|c\right)$ 我们通常使用“拉普拉斯修正”来进行平滑处理:
$$P(c)=\frac{|D_c|+1}{|D|+N}\text{\hspace{1em}(11)}$$$$P\left(x_i|c\right)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i}\text{\hspace{1em}(12)}$$ 式中 $N$ 表式 $D$ 中可能的类别数，$N_i$ 表示第 $i$ 个属性的可能取值。
(2) 另一个问题是利用式(5) 求 $P\left(\mathbf{x}|c\right)$ 的时候连乘容易造成下溢出，实际应用中可以通过求对数来避免：
$$LL(c)=\log P\left(\mathbf{x}|c\right)=\sum _{i=1}^d\log P\left(x_i|c\right)\text{\hspace{1em}(13)}$$ 这样做的数学合理性在于函数 $f(x)$ 和 $\log f(x)$ 的增区间和减区间相同，并且极大值点也相同。
训练函数的代码如下，代码中使用了2代替式(11)和(12)中的 $N$ 和 $N_i$。

def trainNB(trainingSet, trainingClasses):
    trainLength = trainingSet.shape[0]
    numWords = trainingSet.shape[1]
    pAbusive = np.sum(trainingClasses) / trainLength   # 类别为1的概率 p(c_i=1)
    p0Num = np.ones(numWords)
    p1Num = np.ones(numWords)
    p0Denom = 2
    p1Denom = 2
    for i in range(trainLength):
        if trainingClasses[i] == 1:
            p1Num += trainingSet[i, :]
            p1Denom += np.sum(trainingSet[i, :])
        else:
            p0Num += trainingSet[i ,:]
            p0Denom += np.sum(trainingSet[i, :])
    p1Vec = np.log(p1Num / p1Denom)    # 每个类别的条件概率
    p0Vec = np.log(p0Num / p0Denom)
    return p0Vec, p1Vec, pAbusive

对于测试样本testVec，对其分类的函数如下：

def classifyNB(testVec, p0Vec, p1Vec, pClass1):
    p0 = np.sum(testVec * p0Vec) + np.log(1 - pClass1)
    p1 = np.sum(testVec * p1Vec) + np.log(pClass1)
    if p0 > p1:
        return 0
    else:
        return 1

数据集和完整的代码可以在我的github上下载。

sklearn.naive_bayes实现语句情绪识别

  sklearn.naive_bayes是sklearn包中朴素贝叶斯分类器的模块，利用它可以方便快捷的实现朴素贝叶斯分类。sklearn.naive_bayes包含了三个不同的分类器：GaussianNB、MultinomialNB以及BernoulliNB，它们的使用场景稍有差别：GaussianNB通常用于特征为连续值的分类任务，MultinomialNB通常用于离散特征值的分类任务，如果特征值是二元离散值或者稀疏的多元离散值可以考虑BernoulliNB，更详细的介绍可以参考官方文档。
  Sentiment Labelled Sentences是来源于UCI机器学习数据库的数据，数据内容为来自imdb.com 、amazon.com、yelp.com网站的带类别标签的评论语句，类别标签为句子的情绪，1表示积极的情绪，0表示消极的情绪。部分样本如下所示：

可以看到样本都是以字符串形式存储的，因此首先需要将字符串格式的数据转化为数值特征，sklearn中提供了现成的转换工具，这里我们使用sklearn.feature_extraction.text.TfidfVectorizer进行转化，它可以将文本数据转化为TF-IDF特征矩阵，之后就可以进行训练了。完整的实现代码如下：

#!/usr/bin/python3
# -*- coding: utf-8 -*-

'''
@Date    : 2019/10/8
@Author  : Rezero

用朴素贝叶斯方法进行情绪分类，数据集：sentiment labelled sentences
'''

import os
import numpy as np
from sklearn.model_selection import  train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

def loadDataSet(path):
    fileList = os.listdir(path)
    dataSet = []
    labels = []
    for file in fileList:
        with open(path + file) as fr:
            for line in fr.readlines():
                dataSet.append(line.split('\t')[0])
                labels.append(int(line.strip().split('\t')[1]))
    return dataSet, labels

if __name__ == "__main__":
    dataSet, labels = loadDataSet('sentences/')
    trainX, testX, trainY, testY = train_test_split(dataSet, labels, test_size=0.15, random_state=20)   # 划分训练集和测试集
    tvec = TfidfVectorizer()
    trainX = tvec.fit_transform(trainX)
    testX = tvec.transform(testX)

    mnb = MultinomialNB()     # 多项式朴素贝叶斯
    mnb.fit(trainX, trainY)

    predict_Y = mnb.predict(testX)
    error = np.sum(np.abs(predict_Y - testY)) / len(predict_Y)

    print(error)
    # print(classification_report(testY, predict_Y))

函数的参数使用了默认配置，最后在测试集上得到的误差率为14.9%。

总结

  朴素贝叶斯分类器使用较为简单，在信息检索领域很常用，但是因为通常处理文本类数据，特征转换、数据清洗、去除高频词等预处理过程很重要。

参考资料

《机器学习》(周志华)
《机器学习实战》(Peter Harrington)
https://www.cnblogs.com/mengnan/p/9307648.html