Python 朴素贝叶斯 垃圾短信分类

最新推荐文章于 2023-09-22 08:05:05 发布
最新推荐文章于 2023-09-22 08:05:05 发布
阅读量4k 收藏 18
点赞数 2
分类专栏： Anaconda Python 朴素贝叶斯 文本分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guomei_eros/article/details/84930682
版权
本文介绍了使用Python的朴素贝叶斯算法对100W条短信进行垃圾短信分类的毕设项目。实验环境包括Python、Anaconda、Pycharm、Hadoop和Spark。预处理步骤涉及文本分离、分词、去停用词和去单字。最终通过朴素贝叶斯算法得出分类结果。
摘要由CSDN通过智能技术生成

0.前言

没写完.有时间会更新

这是接着我的第一篇博客,搭建好Hadoop伪分布式后,完成的整个毕设.毕设的主要内容是完成对100W短信进行垃圾短信分类.其中80W是含有标签0/1的数据,还有20W是无标签数据.最后的效果评判主要是进行交叉验证.

1.总体思路

首先是用到的实验环境和相关技术

1.1实验环境

Python 3.6.5 + Anaconda3 + Pycharm + Hadoop + spark

伪分布式的Hadoop搭建参见我的博客

伪分布式Hadoop的搭建

其实,不用Hadoop + spark也能跑,我只是觉得毕设工作量太少,所以强行加的.

1,2思路

当初也很小白,简单的思路就是分离数据和标签、文本分词、套用已有的朴素贝叶斯库---->得出结果.

后来和实验室的老师交流的过程中才觉得缺了很多步骤.

最低0.47元/天 解锁文章
国美学弟
关注
专栏目录
垃圾短信识别python步骤详细_python数据挖掘第三篇-垃圾短信文本分类
weixin_35174422的博客
02-05 3084
文本分类总体上包括8个步骤。数据探索分析-》数据抽取-》文本预处理-》分词-》去除停用词-》文本向量化表示-》分类器-》模型评估.重要python库包括numpy(数组),pandas(用于处理结构化数据),matplotlib(绘制词云，便于直观表示),sklearn(提供大量分类聚类算法库).1.数据探索分析(1)获取大量未经过处理的文档，且标记好文档所属类型。(2)给各个文档分配唯一的Id,...
朴素贝叶斯分类器处理垃圾短信分类的Demo
servepeople的博客
11-06 235
在文本分类任务中，我们可以使用贝叶斯分类器来判断文本属于哪个类别。下面是一个使用朴素贝叶斯分类器处理垃圾短信分类的Python示例。在这个例子中，我们使用Scikit-Learn库中的。在这个例子中，我们使用朴素贝叶斯分类器来预测两条新短信的类别（垃圾短信或正常短信）。在实际应用中，你可以使用更大的数据集和更多的特征工程来提高分类器的准确性。进行文本特征提取，并使用。作为朴素贝叶斯分类器。
Untitled_垃圾短信分类_垃圾短信_python_Untitled_
09-30
basic 操作 ，tf 的基本操作 ，应用于垃圾短信的文本分类 ， 对数据进行操作
Python机器学习之垃圾短信分类(用朴素贝叶斯算法的伯努利模型和多项式模型分类垃圾短信数据集SMSSpamCollection.txt）
kalakalabala的博客
11-07 1万+
垃圾短信分类；朴素贝叶斯算法的伯努利模型BernoulliNB和多项式模型MultinomialNB分类垃圾短信；垃圾短信数据集SMSSpamCollection.txt；朴素贝叶斯算法分类垃圾短信，就是要找出哪些单词最常出现在垃圾短信中，将这些最常出现的单词，作为特殊单词，用来过滤短信。接下来就是用词袋方法处理文本信息，也就是统计一大段话里的不同单词的出现次数，最后得到一个频率矩阵，矩阵的行就是数据集里的每一行短信，矩阵的列就是短信里每个单词，元素值就是该单词的出现频率。有了频率，那么特殊单词也就能找到了
Python实现基于数据挖掘的垃圾短信数据识别分类
毕业作品网站
09-22 1395
第三类是基于知识学习的分类算法，如决策树（Decision Tree），人工神经网络（Artificial Neural Networks），支持向量机（Support Vector Machine），逻辑回归模型（Logistic Regression）等算法。直到进入20世纪90年代，随着Internet的迅猛发展，为了能够更好地处理大量的电子文档，并且伴随着人工智能、机器学习、模式识别、统计理论等学科的发展，基于知识工程的文本分类方法渐渐退出了历史舞台，文本分类技术进入了更深入的自动分类时代。
机器学习及与智能数据处理Python使用朴素贝叶斯算法对垃圾短信数据集进行分类
qq_46556714的博客
04-15 3809
文章目录朴素贝叶斯算法1.使用sklearn的朴素贝叶斯算法对垃圾短信数据集进行分类要求：代码：结果：2.自己写朴素贝叶斯算法对垃圾短信数据集进行分类代码：结果： 朴素贝叶斯算法 输入：样本集合D=｛(x_1,y_1),(x_2,y_2)~(x_m,y_m); 待预测样本x; 样本标记的所有可能取值｛c_1,c_2,c_3~c_k｝; 样本输入变量X的每个属性变量X^i的所有可能取值｛a_i1,a_i2,~,a_iAi｝； 输出：待预测样本x所属的类别 1.计算标记为c_k的样本出现概率。 2.计算标记c
用python朴素贝叶斯实现垃圾邮件分类的数据集
最新发布
11-06
使用机器学习算法 用python朴素贝叶斯实现垃圾邮件分类的数据集
机器学习及与智能数据处理Python使用朴素贝叶斯算法对垃圾短信数据集进行分类中的垃圾短信数据集
05-29
机器学习及与智能数据处理Python使用朴素贝叶斯算法对垃圾短信数据集进行分类中的垃圾短信数据集。 朴素贝叶斯算法 输入：样本集合D=｛(x_1,y_1),(x_2,y_2)~(x_m,y_m); 待预测样本x; 样本标记的所有可能取值｛c_1,c_...
python编写朴素贝叶斯用于文本分类
12-24
朴素贝叶斯是基于贝叶斯定理与特征条件独立分布假设的分类方法。首先根据特征条件独立的假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 具体的，根据...
python朴素贝叶斯垃圾邮件分类与检测系统+可视化 毕业设计（包含文档+源码+部署教程）Django框架
10-20
python朴素贝叶斯垃圾邮件分类与检测系统+可视化 毕业设计（包含文档+源码+部署教程）Django框架 为了解决垃圾邮件导致邮件通信质量被污染、占用邮箱存储空间、伪装正常邮件进行钓鱼或诈骗以及邮件分类问题。应用...
精选_Python实现的基于SVM、LR、GBDT和决策树算法进行垃圾短信识别和分类_源码打包
03-11
Python实现的基于SVM、LR、GBDT和决策树算法进行垃圾短信识别和分类
SVM垃圾短信分类
01-02
短信作为一种重要的交流手段，在人们的日常生活中正发挥越来越重要的作用。伴随着短信的广泛使用，垃圾短信也严重困扰着人们的生活。因此研究高效实用的垃圾短信分类方法很有必要。此代码通过python是实现基于SVM的垃圾短信分类
使用Python做垃圾分类的原理及实例代码附
09-19
主要介绍了用Python做垃圾分类的实现原理，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
基于贝叶斯算法的手机垃圾短信过滤--代码
01-30
基于贝叶斯算法的手机垃圾短信过滤代码，R语言实现，完整可用。
使用sklearn实现垃圾短信识别
sunsi_10的博客
08-21 2287
import pandas as pd import jieba data = pd.read_csv(r"E:\UCAS\labled.txt",sep = '\t',names=['label','text'])#read data and name the row #print(data.head()) data['cut_message'] = data["text"].apply(l...
Django 垃圾短信分类
cuixuange的博客
12-16 908
背景: 给出任意一条短信，判断其是否为垃圾短信 https://github.com/cuixuage/Machine_Learning 模型源码 Django交互源码 对于垃圾短信分类问题做一个demo展示 1.前端ajax+后端Django 2.训练的数据模型的存放在static中；单例模式保证了训练模型只会加载一次 3.缺点: 第一次打开页面花费时间较长，需要等待server加
朴素贝叶斯分类之垃圾短信识别
lsxxx2011的专栏
12-12 3084
在上一篇文章中我们使用最邻近算法knn实现医学中乳腺癌的判别，本文继续探讨分类算法，该算法是朴素贝叶斯分类算法，它有着非常多的优点，具体表现在简单、快速、有效，对噪声数据...
python文本数据挖掘_python数据挖掘第三篇-垃圾短信文本分类
weixin_39855869的博客
11-21 549
数据挖掘第三篇-文本分类文本分类总体上包括8个步骤。数据探索分析-》数据抽取-》文本预处理-》分词-》去除停用词-》文本向量化表示-》分类器-》模型评估.重要python库包括numpy(数组),pandas(用于处理结构化数据),matplotlib（绘制词云，便于直观表示）,sklearn(提供大量分类聚类算法库).1.数据探索分析（1）获取大量未经过处理的文档，且标记好文档所属类型。（2）给...
基于朴素贝叶斯+Python实现垃圾邮件分类和结果分析
热门推荐
Galoa的博客
03-23 1万+
基于朴素贝叶斯+Python实现垃圾邮件分类 朴素贝叶斯原理 请参考： 贝叶斯推断及其互联网应用（二）：过滤垃圾邮件 Python实现 源代码主干来自： python实现贝叶斯推断——垃圾邮件分类 我只是加了注释，然后做了对结果的分析统计的输出添加。 源码下载： GitHub：下载NaiveBayesEmail.py 本文原载： 基于朴素贝叶斯+Python实现垃圾邮件分类 ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值