【机器学习实战】-使用朴素贝叶斯过滤垃圾邮件

薛定谔的黑猪

已于 2024-03-02 09:19:27 修改

阅读量1.1k

点赞数 20

文章标签：机器学习人工智能

于 2024-03-02 09:10:44 首次发布

本文链接：https://blog.csdn.net/qq_43587460/article/details/136409743

版权

【机器学习实战】-使用朴素贝叶斯过滤垃圾邮件

这一篇讲的是如何用朴素贝叶斯来过滤垃圾邮件，是从头开始，不像上一篇博客，都是给好的词条，给好的词汇表，而是需要我们自己将文本切分，形成词汇表，然后形成词汇向量。具体的贝叶斯准则的解释和代码实现可以参考上篇博客。

1.准备数据：切分文本

从字符串中分割可以考虑使用split()函数，使用空格进行分割，但是容易出现单词带着标点符号的情况，如下图：
在这里插入图片描述
考虑使用正则表达式，\W的正则表达式表示匹配0个或多个非单词字符（非字母、数字和下划线）， '*'表示匹配多次，就以除单词、数字外的任意字符串进行词组分割，效果如下：

发现还有空字符串需要去除，可以限制字符串长度，长度大于0的留下。切分的词都用小写形式可以使用lower()函数(大写形式.upper())。

[tok.lower() for tok in listOfTokens if len(tok)>0]

需要注意的是，由于是URL：answer.py?hl=en&answer=174623的一部分，因而会出现en和py这样的单词。当对URL进行切分时，会得到很多的词。我们是想去掉这些单词，因此在实现时会过滤掉长度小于3的字符串。本例使用一个通用的文本解析规则来实现这一点。在实际的解析程序中，要用更高级的过滤器来对诸如HTML和URI的对象进行处理。
完整的文件解析代码如下：

# 使用正则表达式进行切分文本，并转换为小写字母形式的词条
def textParse(bigString):
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok) > 2]

2.训练算法：从词向量计算概率

代码如下：

# 朴素贝叶斯分类器
def trainNB0(trainMatrix, trainCategory):
    """
    :param trainMatrix: 对应标签的词组向量类似于[0,1,0,1,0,0,1]这种，记录每个标签对应的词条出现情况
    :param trainCategory: 文档标签
    :return:标签1的log(概率)，标签2的log(概率)，类别1的概率
    """
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    # p0Num = zeros(numWords); p1Num = zeros(numWords)
    # p0Denom = 0.0; p1Denom = 0.0
    # 上面两个公式是假设每个特征独立，如果有个特征为0，则全部特征为0，为避免这种情况，将所有词出现数初始化为1，将分母初始化为2
    p0Num = ones(numWords); p1Num = ones(numWords)
    p0Denom = 2.0; p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])

    # 另一个碰到的问题就是下溢出问题，可以取对数避免下一处或者浮点数舍入导致的错误，
    p1Vect = log(p1Num/p1Denom)
    p0Vect = log(p0Num/p0Denom)
    return p0Vect, p1Vect, pAbusive

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)

    if p1 > p0:
        return 1
    else:
        return 0

numTrainDocs记录文本数量，numWords记录词汇表的数量，pAbusive记录类别为1的比例是多少，p0Num、p0Denom分别记录类别为0的词汇量的个数，和词汇量的总数，同理类比p1Num和p1Denom。因为使用朴素贝叶斯假设，所以防止一个概率为0其他都为0，都初始化为1，分母初始化为2。因为大部分因子都非常小，防止程序下溢或浮点数舍入导致错误，采用自然对数进行处理，这样概率大的还是大，不会影响最终结果，所以采用log。
classifyNB是计算贝叶斯规则的，输入分别是要分类的向量vec2Classify，p(w|c0),p(w|c1),P(c1),多个参数构成w，所以使用numpy向量来计算，使用log函数，相乘等于各元素相加，sum()将要预测分类的向量含有可能的概率加起来，再加上分类概率就是最终概率。

3.完整的垃圾邮件测试函数

代码：

def spamTest():
    # doclist存储词条，新的词条作为一个整体加入到doclist中
    docList = []
    # classList存储对应标签
    classList = []
    # fulltext记录词条，都是元素
    fullText = []
    for i in range(1, 26):
        # 统计消极邮件的词条数和标签值
        # 先进行分词
        wordList = textParse(open('email/spam/%d.txt' % i, encoding="ISO-8859-1").read())
        docList.append(wordList)
        fullText.extend(wordList)
        # 标签记录
        classList.append(1)
        # 进行不消极的词条数统计
        # 进行分词
        wordList = textParse(open('email/ham/%d.txt' % i, encoding="ISO-8859-1").read())
        docList.append(wordList)
        fullText.extend(wordList)
        # 标签标记
        classList.append(0)
    # 形成词汇表
    vocabList = createVocaList(docList)
    # 标上序号进行后续的训练集和测试集划分
    trainingSet = range(50); testSet = []
    for i in range(10):
        # 随机选取10个作为测试集
        randIndex = int(np.random.uniform(0, len(trainingSet)))
        testSet.append(trainingSet[randIndex])
        # 将测试集从训练集中删除，形成测试集与训练集
        del(list(trainingSet)[randIndex])
    # 训练词条与对应标签
    trainMat = []; trainClasses = []
    for docIndex in trainingSet:
        # 训练词条转换为相应向量添加到训练集中
        trainMat.append(setOfWords2Vec1(vocabList, docList[docIndex]))
        # 对应标签存储
        trainClasses.append(classList[docIndex])
    # 计算相关概率
    p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))
    # 统计误差
    errorCount = 0
    for docIndex in testSet:
        wordVector = setOfWords2Vec1(vocabList, docList[docIndex])
        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
            errorCount += 1
    print('the error rate is:', float(errorCount)/len(testSet))

书中提供的邮件数据存在email中的ham与spam两个文件夹中，分表代表着两个标签的数据，需要数据可以去下载随书配套代码或评论区留言。具体的代码解释结合注释看相关代码，在这说一下大体思路，就是分别读ham与spam两个文件夹下面的文件，将里面的文本切分成词条，形成词汇表，使用随机数切分训练集与测试集，形成每个文档及对应标签的词条向量，用训练集计算概率p0V，p1V，pSpam的三种概率情况，然后进行测试集的情感预测，记录错误率。
运行效果：
在这里插入图片描述

4.完整代码

'''朴素贝叶斯实现的电子邮件垃圾过滤'''
import re
import random
import numpy as np
from numpy import *

def createVocaList(dataSet):
    # 创建一个空集
    vocabSet = set([])
    # 创建并返回两个集合的并集
    for document in dataSet:
        vocabSet = vocabSet | set(document)
    return list(vocabSet)
# 词袋模型，每个词出现的次数做为特征
def setOfWords2Vec1(vocabList, inputSet):
    # 创建所含元素都为0的向量
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
        else:
            print("the word:%s is not in my Vocabulary!" % word)
    return returnVec

# 朴素贝叶斯分类器
def trainNB0(trainMatrix, trainCategory):
    """
    :param trainMatrix: 对应标签的词组向量类似于[0,1,0,1,0,0,1]这种，记录每个标签对应的词条出现情况
    :param trainCategory: 文档标签
    :return:标签1的log(概率)，标签2的log(概率)，类别1的概率
    """
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    # p0Num = zeros(numWords); p1Num = zeros(numWords)
    # p0Denom = 0.0; p1Denom = 0.0
    # 上面两个公式是假设每个特征独立，如果有个特征为0，则全部特征为0，为避免这种情况，将所有词出现数初始化为1，将分母初始化为2
    p0Num = ones(numWords); p1Num = ones(numWords)
    p0Denom = 2.0; p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])

    # 另一个碰到的问题就是下溢出问题，可以取对数避免下一处或者浮点数舍入导致的错误，
    p1Vect = log(p1Num/p1Denom)
    p0Vect = log(p0Num/p0Denom)
    return p0Vect, p1Vect, pAbusive

# 朴素贝叶斯分类函数
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)

    if p1 > p0:
        return 1
    else:
        return 0

# 1.准备数据：切分文本
# 使用正则表达式进行切分文本，并转换为小写字母形式的词条
def textParse(bigString):
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok) > 2]

def spamTest():
    # doclist存储词条，新的词条作为一个整体加入到doclist中
    docList = []
    # classList存储对应标签
    classList = []
    # fulltext记录词条，都是元素
    fullText = []
    for i in range(1, 26):
        # 统计消极邮件的词条数和标签值
        # 先进行分词
        wordList = textParse(open('email/spam/%d.txt' % i, encoding="ISO-8859-1").read())
        docList.append(wordList)
        fullText.extend(wordList)
        # 标签记录
        classList.append(1)
        # 进行不消极的词条数统计
        # 进行分词
        wordList = textParse(open('email/ham/%d.txt' % i, encoding="ISO-8859-1").read())
        docList.append(wordList)
        fullText.extend(wordList)
        # 标签标记
        classList.append(0)
    # 形成词汇表
    vocabList = createVocaList(docList)
    # 标上序号进行后续的训练集和测试集划分
    trainingSet = range(50); testSet = []
    for i in range(10):
        # 随机选取10个作为测试集
        randIndex = int(np.random.uniform(0, len(trainingSet)))
        testSet.append(trainingSet[randIndex])
        # 将测试集从训练集中删除，形成测试集与训练集
        del(list(trainingSet)[randIndex])
    # 训练词条与对应标签
    trainMat = []; trainClasses = []
    for docIndex in trainingSet:
        # 训练词条转换为相应向量添加到训练集中
        trainMat.append(setOfWords2Vec1(vocabList, docList[docIndex]))
        # 对应标签存储
        trainClasses.append(classList[docIndex])
    # 计算相关概率
    p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))
    # 统计误差
    errorCount = 0
    for docIndex in testSet:
        wordVector = setOfWords2Vec1(vocabList, docList[docIndex])
        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
            errorCount += 1
    print('the error rate is:', float(errorCount)/len(testSet))

spamTest()
spamTest()

总结与思考

是英文句子进行切分感觉还容易一点，单词与单词之间用标点符号和空格就可以分割了，但是中文好像分割起来更加困难一点，好像使用jieba分词可以，这个贝叶斯预测还是很有意思的，我看书中还可以建立相关模型来挑选自己的意中人哈哈哈，希望有时间可以建立自己的中文情感分析模型。
如有错误，欢迎指正。
如有侵权，欢迎提出。

薛定谔的黑猪

关注

20
点赞
踩
28

收藏

觉得还不错? 一键收藏
1
评论
【机器学习实战】-使用朴素贝叶斯过滤垃圾邮件

是英文句子进行切分感觉还容易一点，单词与单词之间用标点符号和空格就可以分割了，但是中文好像分割起来更加困难一点，好像使用jieba分词可以，这个贝叶斯预测还是很有意思的，我看书中还可以建立相关模型来挑选自己的意中人哈哈哈，希望有时间可以建立自己的中文情感分析模型。如有错误，欢迎指正。如有侵权，欢迎提出。
复制链接

扫一扫