朴素贝叶斯实现垃圾邮件分类器

最新推荐文章于 2023-11-20 21:11:13 发布

闲庭信步的空间

最新推荐文章于 2023-11-20 21:11:13 发布

阅读量310

点赞数

分类专栏：数据分析文章标签：机器学习 python 人工智能

本文链接：https://blog.csdn.net/danspace1/article/details/130292486

版权

数据分析专栏收录该内容

10 篇文章 0 订阅

订阅专栏

0.理论

使用朴素贝叶斯对垃圾邮件进行分类，假定各个单词之间没有联系。只是独立地检查邮件中的每个单词，然后将每个单词对确定是否为垃圾邮件的贡献组合起来。

1.用朴素贝叶斯实现垃圾邮件分类

import os
import io
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

def resultFrameFromDirectory(root, classification):
    """读取文件夹路径下的所有文件数据，提取邮件内容和分类

    Args:
        root (str): 文件夹路径
        classification (str): 分类

    Returns:
        resultFrame: 消息和分类
    """        

    files = os.listdir(root)
    result = {'message': [], 'classification': []}

    for file in files:
        path = os.path.join(root, file)
        inBody = False
        lines = []
        f = io.open(path, 'r', encoding='latin1')
        for line in f:
            if inBody:
                lines.append(line)
            elif line == '\n':
                inBody = True
        f.close()
        message = '\n'.join(lines)
        result['message'].append(message)
        result['classification'].append(classification)
    return pd.DataFrame(result)    
    
    
root_ham = 'E:/python/python数据科学与机器学习/《Python数据科学与机器学习：从入门到实践》源代码/emails/ham'
root_spam = 'E:/python/python数据科学与机器学习/《Python数据科学与机器学习：从入门到实践》源代码/emails/spam'

df_ham = resultFrameFromDirectory(root_ham, 'ham')
df_spam = resultFrameFromDirectory(root_spam, 'spam')
df = df_ham.append(df_spam)
print(df.shape)

(3000, 2)


C:\Users\Administrator\AppData\Local\Temp\ipykernel_10964\3226765712.py:43: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
  df = df_ham.append(df_spam)

df_ham.head()

	message	classification
0	Date: Wed, 21 Aug 2002 10:54:46 -05...	ham
1	Martin A posted:\n\nTassos Papadopoulos, the G...	ham
2	Man Threatens Explosion In Moscow \n\n\n\nThur...	ham
3	Klez: The Virus That Won't Die\n\n \n\nAlready...	ham
4	> in adding cream to spaghetti carbonara, whi...	ham

df_spam.head()

	message	classification
0	<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Tr...	spam
1	1) Fight The Risk of Cancer!\n\nhttp://www.adc...	spam
2	1) Fight The Risk of Cancer!\n\nhttp://www.adc...	spam
3	##############################################...	spam
4	I thought you might like these:\n\n1) Slim Dow...	spam

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(df['message'])
y = df['classification']
classifier = MultinomialNB()
classifier.fit(X, y)

# 预测
examples = ['Free Viagra now!!!', "Hi Bob, how about a game of golf tomorrow?"]
example_counts = vectorizer.transform(examples)
predictions = classifier.predict(example_counts)
predictions

array(['spam', 'ham'], dtype='<U4')

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 训练
classifier = MultinomialNB()
classifier.fit(X_train, y_train)
# 预测
y_pred = classifier.predict(X_test)
score = round(accuracy_score(y_test, y_pred)*100,2)
print('模型准确率：{}%'.format(score))

模型准确率：96.0%

2. 参考资料

Python数据科学与机器学习：从入门到实践
作者：
[美]弗兰克•凯恩（Frank Kane）

源代码下载：
https://www.ituring.com.cn/book/2426

闲庭信步的空间

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
朴素贝叶斯实现垃圾邮件分类器

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(A|B)=P(B|A)*P(A)/P(B)。使用朴素贝叶斯对垃圾邮件进行分类，假定各个单词之间没有联系。只是独立地检查邮件中的每个单词，然后将每个单词对确定是否为垃圾邮件的贡献组合起来。
复制链接

扫一扫