基于jieba、TfidfVectorizer、LogisticRegression的垃圾邮件分类

最新推荐文章于 2024-05-11 10:19:22 发布
最新推荐文章于 2024-05-11 10:19:22 发布
阅读量1.7k 收藏 12
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaosa_kun/article/details/84868456
版权
这篇博客介绍了如何利用jieba进行中文分词，结合TfidfVectorizer转换文本数据，并使用LogisticRegression进行垃圾邮件分类。作者通过数据下载、预处理、模型训练和评估，展示了整个流程，最终模型在测试集上的表现优秀。
摘要由CSDN通过智能技术生成

2018年9月27日笔记

jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jieba
TfidfVectorizer中文叫做___ 词频逆文档频率向量化模型，是用来文章内容向量化的工具，官方文档链接：http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html
LogisticRegression中文叫做逻辑回归模型___，是一种基础、常用的分类方法。

建议读者安装anaconda，这个集成开发环境自带了很多包。
到2018年9月27日仍为最新版本的anaconda下载链接: https://pan.baidu.com/s/1pbzVbr1ZJ-iQqJzy1wKs0A 密码: g6ex
官网下载地址：https://repo.anaconda.com/archive/Anaconda3-5.2.0-Windows-x86_64.exe
下面代码的开发环境为jupyter notebook，使用在jupyter notebook中的截图表示运行结果。

0.打开jupyter

在桌面新建文件夹命名为基于TfidfVectorizer的垃圾分类，如下图所示:

10345471-0055ed865a643225.png
image.png

打开 基于TfidfVectorizer的垃圾邮件分类文件夹，在按住Shift键的情况下，点击鼠标右键，出现如下图所示。
选择 在此处打开PowerShell窗口，之后会在此路径下打开PowerShell。
10345471-5e18b63cb4bc0a66.png
image.png

在PowerShell中输入命令并运行： jupyter notebook
10345471-345147fa44dc6d19.png
image.png

PowerShell运行命令后，会自动打开网页，点击如下图所示网页中的按钮：
10345471-cbb4a0859de0e2d0.png
image.png

spam中文叫做 垃圾邮件
代码文件重命名为 spamMailTest，重命名按钮位置如下图所示：
10345471-07746cd420085edf.png
image.png

1.数据下载

数据文件下载链接: https://pan.baidu.com/s/1kqOFq8Ou_2D3fIKp0l62qQ 提取码: eu5x
压缩文件trec06c.zip当中含有64000多个包含邮件内容的文本文件。
使用软件Winrar无法解压，使用软件7zip或Bandizip可以解压，需要3分钟左右。
选择解压到trec06c，如下图所示：

最低0.47元/天 解锁文章
xiaosakun
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
基于jieba、TfidfVectorizer、LogisticRegression的搜狐新闻文本分类
潇洒坤
09-02 1304
学习资源来源：容大教育，致以诚挚的谢意。 重新编辑：潇洒坤 jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jieba TfidfVectorizer中文叫做词袋向量化模型，是用来文章内容向量化的工具，官方文档链接：http://sklearn.apachecn.org/cn/0.19.0/mod...
【小沐学NLP】Python实现TF-IDF算法（nltk、sklearn、jieba）
爱看书的小沐
12-31 2141
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
【机器学习】逻辑回归：智能垃圾邮件分类实例
最新发布
richard_yuu的博客
05-11 674
逻辑回归是一种广义的线性回归模型，用于处理二分类问题。它通过计算一个事件发生的概率来预测该事件的类别。在垃圾邮件分类中，逻辑回归通过分析邮件的文本内容和其他特征，计算邮件为垃圾邮件的概率，从而实现对邮件的分类。逻辑回归模型的核心是sigmoid函数，它将线性回归模型的输出值映射到0到1之间，表示某个事件发生的概率。在垃圾邮件分类中，sigmoid函数的输出值可以理解为邮件为垃圾邮件的概率。当概率大于某个阈值（如0.5）时，模型将邮件判断为垃圾邮件；否则，判断为正常邮件。
Python：split()的使用方法
weixin_45747903的博客
10-16 1035
Python：split()的使用方法 语法：str.split(str="",maxsplit = -1)[n] Str=””:分隔符 Maxsplit:分割多少段 [n]：取分割段的对应值 以空格为分隔符，返回值存到一个list 以.为分隔符，分割2次 以.为分隔符,取第2个元素 以空格为分隔符，取第1个坐标的元素 以.为分隔符，并把分割后4个元素存对4个变量中 Split():多个空...
python 读取邮件内容_python获取邮件内容（邮件内容为html）
weixin_39929687的博客
11-29 3218
用python获取邮件内容比较简单，直接用现成的imap和pop3包即可，但是有时候邮件的内容不是plainText而是html甚至是一个url链接，原本的操作流程是点击url获取内容（比如csv等等）。我这边的需求是从html里的众多url中找到包含所需文件的url并将文件的内容保存到本地。上代码：# -*- encoding: utf-8 -*-import getpass, email, s...
中文最全停用词
04-29
中文最全停用词
基于jieba、TfidfVectorizer、LogisticRegression的垃圾邮件分类-附件资源
03-02
基于jieba、TfidfVectorizer、LogisticRegression的垃圾邮件分类-附件资源
2750个通用停用词表整理，免费下载
呆萌的代Ma
06-14 2万+
中文停用词表下载 一共2750个停用词，属于通用停用词表。 下载地址： 链接：https://pan.baidu.com/s/1u-Ob86VGVSk3vhnwf2S29w 提取码：aoj4 停用词表整理代码 下载了很多网上的通用停用词表，同时合并了我们实验室的停用词表后使用下面的代码对停用词表整理： import os def readfile(path): # 读取文件夹下所有的文件 ...
NLTK - 停用词下载
兀坐晴窗独饮茶
09-10 1733
1. 停用词下载 NLTK : https://www.nltk.org/data.html 停用词下载地址 : http://www.nltk.org/nltk_data/ 2. 安装 将下载后的 stopwords 放在虚拟环境的指定位置, nltk_data 和 corpora 是需要自己创建的 3. 使用下载器下载 这种方法很多时候是不能用的, 因为网络原因, 更换网络或者用自己手机热点多试几次, 不行的话就使用上面的手动下载的方式 ...
kaggle 影评情感分析（1）—— TF-IDF+Logistic回归/朴素贝叶斯/SGD
Aviato
11-08 4361
前言 kaggle的这个starting competition (Bag of words meet bags of popcorns) 其实是一个word2vec-tutorial, 但是本篇文章没有用到 word2vec, 只用了 TF-IDF 的方式将句子向量化，再分别用logistic regression、multinomial Naive Bayes、 SGDClassifier 进...
sklearn+gensim︱jieba分词、词袋doc2bow、TfidfVectorizer
素质云笔记
05-08 3万+
分词这块之前一直用R在做，R中由两个jiebaR+Rwordseg来进行分词，来看看python里面的jieba. 之前相关的文章： R语言︱文本挖掘之中文分词包——Rwordseg包(原理、功能、详解) R语言︱文本挖掘——jiabaR包与分词向量化的simhash算法（与word2vec简单比较） . 一、jieba分词功能 来源github：https://githu
python scikit-learn计算tf-idf词语权重
liuxuejiang158的专栏
06-16 7万+
python的scikit-learn包下有计算tf-idf的api，研究了下做个笔记 1 安装scikit-learn包 sudo pip install scikit-learn 2 中文分词采用的jieba分词，安装jieba分词包 sudo pip install jieba 3  关于jieba分词的使用非常简单，参考这里，关键的语句就是(这里简单试水，不追求效
TfidfVectorizer统计词频
YPL_ZML的博客
06-27 1639
from sklearn.feature_extraction.text import TfidfVectorizer import jieba # text = ['This is the first document.', 'This is the second second document.', 'And the third one.', # 'Is this the f...
机器学习-新闻分类案例
root1228544694的博客
06-05 1026
新闻分类案例项目，对文章进行分词，用TF-IDF和词袋，对文章进行分词，用TF-IDF和词袋表示文档特征，训练word2vec模型，完整过程，项目集成调用 ...
jieba分词中用到的TF－IDF算法的介绍
qq_31342997的博客
11-29 6119
注：利用jieba分词进行关键词抽取（选择TF－IDF算法） 这里介绍基于TF－IDF算法的关键词抽取(干货｜详解自然语言处理之TF-IDF模型和python实现), 只有关键词抽取并且进行词向量化之后，才好进行下一步的文本分析，可以说这一步是自然语言处理技术中文本处理最基础的一步。 jieba分词中含有analyse模块，在进行关键词提取时可以使用下列代码   #练习使用scikit...
tf-idf：sklearn中TfidfVectorizer使用
大鹏的专栏
09-05 1万+
import jiebafrom sklearn.feature_extraction.text import TfidfVectorizercorpus = [] data_file="./tfidf-data.txt" with open(data_file, 'r') as f: for line in f: corpus.append(" ".join(jieba.c
[python] 使用scikit-learn工具计算文本TF-IDF值
热门推荐
杨秀璋的专栏
08-08 8万+
在文本聚类、文本分类或者比较两个文档相似程度过程中，可能会涉及到TF-IDF值的计算。这里主要讲述基于Python的机器学习模块和开源工具：scikit-learn。文章包括：一.Scikit-learn概念 1.概念知识 2.安装软件； 二.TF-IDF基础知识 1.TF-IDF 2.举例介绍； 三.TF-IDF调用两个方法 1.CountVectorizer 2.TfidfTransformer 3.示例 希望文章对你有所帮助~
可以帮我使用python编写基于朴素贝叶斯的中文垃圾邮件分类代码吗
06-06
当然可以，以下是一个简单的基于朴素贝叶斯算法的中文垃圾邮件分类代码示例： ```python import jieba import os # 垃圾邮件文件夹路径 spam_path = 'spam/' # 非垃圾邮件文件夹路径 ham_path = 'ham/' # 停用词文件路径 stopwords_path = 'stopwords.txt' # 加载停用词 stopwords = set() with open(stopwords_path, 'r', encoding='utf-8') as f: for line in f: stopwords.add(line.strip()) # 获取所有邮件内容及标签 emails = [] for filename in os.listdir(spam_path): with open(spam_path + filename, 'r', encoding='utf-8') as f: content = f.read() emails.append((content, 1)) for filename in os.listdir(ham_path): with open(ham_path + filename, 'r', encoding='utf-8') as f: content = f.read() emails.append((content, 0)) # 分词，并去除停用词 def cut_words(content): words = jieba.cut(content) return [word for word in words if word not in stopwords] # 统计词频 def count_words(words): word_count = {} for word in words: word_count[word] = word_count.get(word, 0) + 1 return word_count # 计算每个词在垃圾邮件和非垃圾邮件中的出现次数 spam_word_count = {} ham_word_count = {} spam_total_count = 0 ham_total_count = 0 for email in emails: words = cut_words(email[0]) if email[1] == 1: spam_total_count += 1 for word in words: spam_word_count[word] = spam_word_count.get(word, 0) + 1 else: ham_total_count += 1 for word in words: ham_word_count[word] = ham_word_count.get(word, 0) + 1 # 计算每个词在垃圾邮件和非垃圾邮件中的出现概率 p_word_spam = {} p_word_ham = {} for word in set(list(spam_word_count.keys()) + list(ham_word_count.keys())): p_word_spam[word] = (spam_word_count.get(word, 0) + 1) / (spam_total_count + 2) p_word_ham[word] = (ham_word_count.get(word, 0) + 1) / (ham_total_count + 2) # 定义分类函数 def classify(content): words = cut_words(content) p_spam = 1 p_ham = 1 for word in words: p_spam *= p_word_spam.get(word, 1) p_ham *= p_word_ham.get(word, 1) if p_spam > p_ham: return '垃圾邮件' else: return '非垃圾邮件' # 测试分类函数 with open('test.txt', 'r', encoding='utf-8') as f: content = f.read() classification = classify(content) print(classification) ``` 在代码中，我们首先加载停用词，并使用jieba分词对邮件内容进行处理。然后使用朴素贝叶斯算法统计每个词在垃圾邮件和非垃圾邮件中的出现次数和出现概率。最后定义了一个分类函数，用于对新邮件进行分类。运行测试代码可以得到分类结果。当然，为了获得更好的分类效果，你可能需要更多的训练数据和调整模型参数。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值