第四章 4 、 3 朴素贝叶斯模型（垃圾邮件过滤）

最新推荐文章于 2024-03-22 14:57:48 发布
最新推荐文章于 2024-03-22 14:57:48 发布
阅读量380 收藏 2
点赞数
分类专栏： # 自然语言处理 NLP 文章标签： 自然语言处理 tensorflow pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38888209/article/details/104562229
版权
本文介绍了如何使用朴素贝叶斯模型进行垃圾邮件分类。通过统计单词出现次数，建立词汇库，训练数据中获取先验知识。在处理过程中，涉及分词、计算先验概率和各类单词的概率，并利用Add-one平滑项。预测时，为避免大数连乘导致的溢出，采取取Log的方法。
摘要由CSDN通过智能技术生成

朴素贝叶斯模型

二分类问题：训练集：知道内容，知道标签
在这里插入图片描述
主要就是统计一些单词出现的次数
在这里插入图片描述
垃圾邮件的分类：
现在我竹东统计一下：购买，单词的一些性质
给定了训练数据，有正常邮件和垃圾邮件：搜集数据
在这里插入图片描述
再来看一下：物品，这个单词
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
等等等
所以，我需要有一个 Vocab 词典库，然后对每一个单词都进行上面那个概率操作，找出敏感词。

最低0.47元/天 解锁文章
AI_Younger_Man
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
信息内容安全-朴素贝叶斯邮件过滤（多项式模型）实验
radishleaf的博客
05-06 513
信息内容安全-朴素贝叶斯邮件过滤（多项式模型）实验 代码 # 信息内容安全作业-朴素贝叶斯邮件过滤（多项式模型） import os import jieba import random from collections import Counter import numpy as np from sklearn.naive_bayes import MultinomialNB, Gaussi...
基于朴素贝叶斯的垃圾邮件过滤实现
qq_36372569的博客
03-07 427
![重点 1 目的是计算P(内容|正常)与P(内容|垃圾)的概率，所以需要计算出字典中所有此在正常、垃圾条件下出现的概率 2 如果词典中的某个词未在正常/垃圾邮件中出现会导致P(内容|正常/垃圾)=0，所以使用Laplace Smoothing数据平滑技术，分子加1，分母加字典词数 3 如果内容词过多会导致最后乘积概率P无限小，超出电脑数据范围，所以使用Log转换![](https://img-blog.csdnimg.cn/20210307195600383.png?x-oss-process=i.
朴素贝叶斯应用——垃圾邮件过滤
zs_id的博客
11-20 1305
简单高效，易于理解实现。对小规模数据表现良好，适用于多分类问题。假设特征独立， 朴素贝叶斯算法的一个主要假设是所有特征都是相互独立的。在现实世界的某些情况下，这个假设可能并不成立，从而影响了分类的准确性。尽管朴素贝叶斯有其局限性，但在许多实际应用中，它仍然是一个简单而有效的分类算法。根据具体问题的性质，以及数据的特点，选择合适的分类算法非常重要。OVER五、参阅【精选】【机器学习实战】朴素贝叶斯应用之垃圾邮件过滤_基于朴素贝叶斯的垃圾邮件过滤-CSDN博客朴素贝叶斯_百度百科 (baidu.com)
白板推导系列Pytorch-朴素贝叶斯
孤独腹地的博客
10-25 717
白板推导系列Pytorch-朴素贝叶斯 下面的实现基于极大似然估计，意思就是使用极大似然估计的方法来估计模型中的未知参数，因此我们当然能想到还有其它的估计方法，例如贝叶斯估计。如果您仍然不明白我在说什么，或许是您还没有看白板推导的系列视频 pytorch实现 生成数据集 def create_dataset(n_samples=1000): x0 = torch.normal(2,1,size=(n_samples//2,2),dtype=torch.float32) y0 = torch.
朴素贝叶斯算法实现(使用MNIST数据集)_Python环境
07-26
使用朴素贝叶斯算法实现MNIST数据集的训练预测，精度较高，主要是参考统考学习李航一书和github上相关作者思路进行实现。
朴素贝叶斯算法--垃圾邮件过滤
weixin_45422335的博客
03-04 5040
一、朴素贝叶斯概述 1、贝叶斯决策理论 假设现在我们有一个数据集，它由两类数据组成，我们现在用P1表示数据点属于类别1的概率，用P2表示数据点属于类别2的概率，那么对于一个新数据点X，可以用下面的规则来判断它的类别： □如果P1(X)>P2(X), 那么类别为1。 □如果P1(X)<P2(X), 那么类别为2。 也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选...
【机器学习基础】朴素贝叶斯进行垃圾邮件分类
Tuzi_bo的专栏
04-16 1794
目录 一 朴素贝叶斯简介 二 贝叶斯决策理论 三 朴素贝叶斯进行垃圾邮件分类 3.1构造数据集 3.2 构造词典 3.3 构造词集模型 3.4 求解先验概率和条件概率 3.5 对样本集进行分类 3.6 交叉验证 四 整体代码实现 五 参考材料 一 朴素贝叶斯简介 贝叶斯...
机器学习 朴素贝叶斯分类垃圾邮件
weixin_48882021的博客
11-29 1827
一、前言 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱、”之类的话，其实这就是一种分类操作。 既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？ 从数学角度来说，分类问题可做如下定义：已知集合和，确定映射规则y = f()，使得任意有且仅有一个,使得成立。 其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合（特征集合），其中每一个元素是一个待分类项
机器学习实战(第四章-朴素贝叶斯-所有代码与详细注解及相关数据文件-python3.7)
12-09
4. 模型训练：理解如何使用sklearn库构建朴素贝叶斯模型并训练。 5. 模型评估：学习如何使用准确率、精确率、召回率等指标评估模型性能。 6. 泛化能力：讨论朴素贝叶斯模型在未知数据上的表现。 通过实践这些代码和...
bayes-torch:基于pytorch的轻量级贝叶斯推理框架
05-12
贝叶斯火炬：轻量级贝叶斯推理框架 虽然有很多贝叶斯推理模型库/语言，例如 ，（tensorflow） （theano）， （pytorch），但它们的计算基础与抽象高API之间的关系很尴尬。 因此，发现该项目在灵活的autograd库pytorch中实现了类似于stan的API。 这是一个轻量级的框架，您将直接编写联合似然函数来运行推理，而不是用Edward，stan，pymc或ugly风格的假采样语句运行Edward，而在pyro中使用奇怪的名称绑定。 例子 我们可以这样实现以下stan模型： data { int<lower> N; real y[N]; } parameters { real mu; } model { y ~ normal(mu, 1); } 火炬-贝叶斯模型代码： mu = Parameter ( 0.0 ) # o
深度学习Pytorch全连接神经网络 垃圾邮件的分类.完整代码+数据 毕业设计 可直接运行
03-14
介绍 使用Pytorch深度学习库建立MLP全连接神经网络模型和optimzier优化器进行有标签的监督学习分类。并使用PytorchViz库将神经网络可视化，使用Canvas库将损失函数值和识别精度对数变化过程可视化。 软件架构 Pycharm anaconda环境配置 pytorch库
美国卡耐基大学垃圾邮件分类数据集
07-06
美国卡耐基大学垃圾邮件分类数据集，英文，已划分好正负样本。总共有5000多条记录，适合数据挖掘，机器学习中贝叶斯分类模型等应用
《机器学习实战》之四——朴素贝叶斯
潘多拉星系的专栏
11-30 315
这里写自定义目录标题《机器学习实战》之四——朴素贝叶斯一. 数学部分二. 准备数据阶段三. NB训练函数针对算法部分的改进四. NB分类函数五. 测试NB分类函数六. 使用朴素贝叶斯进行垃圾邮件过滤如何插入一段漂亮的代码片 《机器学习实战》之四——朴素贝叶斯 knn和决策树要求分类器对输入给出分类的结果。而『朴素贝叶斯』是给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值，选择具有高概率的决...
垃圾邮件分类快速理解机器学习中的朴素贝叶斯（Naive Bayes）
qq_22613769的博客
08-23 953
贝叶斯方法是一个历史悠久，有着坚实的理论基础的方法，同时处理很多问题时直接而又高效，很多高级自然语言处理模型也可以从它演化而来。因此，学习贝叶斯方法，是研究自然语言处理问题的一个非常好的切入口。 其实朴素贝叶斯=贝叶斯公式+条件独立假设 1.贝叶斯公式 大学概率学统计就已经学过贝叶斯公式，没学过也没关系，该公式就一行： P(Y|X)=P(X|Y)*P(Y)/P(X) 它是由联合概率推导出来的： P...
机器学习的练功方式（六）——朴素贝叶斯
弄鹊
03-09 1615
朴素贝叶斯原理及其代码实现
朴素贝叶斯分类——【torch学习笔记】
诗酒趁年华。
04-07 2116
朴素贝叶斯分类 引用翻译：《动手学深度学习》 在我们担心复杂的优化算法或GPU之前，我们已经可以部署我们的第一个分类器，只依靠简单的统计估计器和我们对条件独立性的理解。学习就是要做假设。如果我们想对一个从未见过的新数据点进行分类，我们就必须对哪些数据点是相互类似的做出一些假设。 y^=argmaxy p(y∣x)\hat{y} = \text{argmax}_y \> p(y | \mathbf{x})y^​=argmaxy​p(y∣x) 不幸的是，这要求我们对𝑝(𝑦|𝐱)的每个值𝐱=𝑥1,…,𝑥𝑑进
朴素贝叶斯分类算法 + python简单样例
最新发布
qq_65960840的博客
03-22 2533
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。。其中}的含义为：对于第i个样本的第j个特征，它的特征值属于特征集j，通过训练集训练出分类模型，然后对输入的实例x进行预测分类。例：其中为第2个样本的第1个特征=1特征集={1,2,3}先验概率（prior probability）是指根据以往经验和分析得到的概率，如 全概率公式 ，它往往作为"由因求果"问题中的"因"出现的概率。计算方法其中N为样本集的数量，表示求和这N个样本中的数量。
机器学习之朴素贝叶斯实现垃圾邮件过滤
a457359584的博客
11-28 3796
一.朴素贝叶斯概述 朴素贝叶斯法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布（朴素贝叶斯法这种通过学习得到模型的机制，显然属于生成模型）；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出 y 二.朴素贝叶斯的基本公式 1.联合分布率 联合概率表示为包含多个条件并且所有的条件都同时成立的概率，记作 P ( X = a , Y = b ) P(X=a,Y=b) P(X=a,Y=b) 或 P ( a , b
Spring Cloud面试题：2020年电子邮件垃圾过滤实战与朴素贝叶斯算法
其中第1部分实验关注的是电子邮件垃圾过滤，通过朴素贝叶斯算法进行文本分类。实验涉及以下步骤： 1. 实验背景： - 实验目标是让学生理解并应用朴素贝叶斯算法来识别垃圾邮件，通过对ham和spam两个文件夹中的txt...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值