机器学习-朴素贝叶斯（侮辱类词汇检测）

最新推荐文章于 2023-12-05 19:10:24 发布
最新推荐文章于 2023-12-05 19:10:24 发布
阅读量1.1k 收藏 8
点赞数
分类专栏： 机器学习 文章标签： python 机器学习 贝叶斯 词汇检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hester_hester/article/details/96309296
版权
本文探讨了如何使用朴素贝叶斯算法进行侮辱类词汇检测。通过计算特定词汇出现的概率，以此来识别文本是否包含侮辱性内容。尽管在计算中忽略了分母的影响，但这种方法对于判断概率的相对大小仍然有效。
摘要由CSDN通过智能技术生成

根据公式：

可以得出：

这里进行计算时，只需要计算分子，比较大小，因为分母只是对数值有影响，对两个数的比较不会产生影响

import numpy as np

"""创建数据集"""
def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],  # stupid侮辱类
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['
最低0.47元/天 解锁文章
Vivinia_Vivinia
关注
专栏目录
机器学习之朴素贝叶斯（三）：哪些词汇经常出现、词云的制作
汪雯琦的博客
02-28 660
文章目录抽取数据准备词云库LDA主题模型分类 数据及代码下载： https://github.com/w1449550206/Word-cloud-production-based-on-Naive-Bayes.git #词云 词云中不要出现太多的词语 import numpy as np import pandas as pd import jieba as jb #文本中本来是没有特征 ...
Python3《机器学习实战》学习笔记（四）：朴素贝叶斯基础篇之言论过滤器
热门推荐
Jack-Cui
08-17 4万+
朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。
朴素贝叶斯（Naive Bayes）算法 - 文档分类（敏感词判断）
Yuudachi的博客
10-29 1067
import numpy as np import pandas as pd from functools import reduce ''' 函数功能：创建实验数据集 参数说明：无参数 返回： postingList：切分好的样本词条 classVec：类标签向量 ''' def loadDataSet(): dataSet = [ ['my', 'dog', 'has'...
通过机器学习来检测Powershell恶意行为
Ping_Pig的博客
08-12 756
讲在前面 国内外的各大厂商以及各类研究员多年来对在网络威胁中使用Powershell进行渗透的行为做了不同形式的报告，那么，为什么Poweshell在近几年的渗透中很受攻击中追捧呢，最大的特点就是Powershell的灵活性和丰富的功能使常规检测形同虚设。这篇文章在火眼（FireEye）的通过机器学习来检测Powershell恶意行为研究基础上进行部分修改后展示。 通过这篇文章，读者将会简单学习到： 为什么传统的“基于签名”或“基于规则”的检测引擎检测Powershell的威胁会遇到瓶颈 如何使用自
机器学习实战4.2 朴素贝叶斯案例：屏蔽社区留言板的侮辱性言论
小明的博客
10-11 3341
机器学习实战4.2 朴素贝叶斯案例：屏蔽社区留言板的侮辱性言论 搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多机器学习干货 csdn：https://blog.csdn.net/baidu_31657889/ github：https://github.com/aimi-cn/AILearners 参考地址：https://cuijiahua.com/blog/2...
机器学习--朴素贝叶斯分类函数
qq_32572085的博客
12-06 1746
一、前言 朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。 本篇文章将从朴素贝叶斯推断原理开始讲起，通过实例进行辅助讲解。最后，使用...
机器学习——朴素贝叶斯
hshagahhva的博客
11-28 4694
一：朴素贝叶斯简介 朴素贝叶斯法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布（朴素贝叶斯法这种通过学习得到模型的机制，显然属于生成模型）；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出 y。 1.1基于贝叶斯决策理论的分类方法 首先对于朴素贝叶斯来说，其优点在于在数据较少的情况想依旧有效，并且可以处理多类别问题，缺点在于对于输入数据的准备方式较为敏感。 朴素...
机器学习-----朴素贝叶斯
qq_54708796的博客
11-29 2220
目录 一 基本概念 1 简介 2 朴素贝叶斯的优缺点 2 先验概率和后验概率 3 条件概率与全概率公式 4 贝叶斯推断 二 贝叶斯分类器的简单应用 1 数据说明 2 进行分类 三 朴素贝叶斯过滤垃圾邮件 1 流程说明 2 构建词向量 3 词向量计算概率 4 朴素贝叶斯分类函数 5 使用朴素贝叶斯进行交叉验证 四 总结 一、基本概念 1.简介 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型.
《机器学习》算法实例-朴素贝叶斯算法-屏蔽社区留言板的侮辱言论
12-13
《机器学习》算法实例-朴素贝叶斯算法-屏蔽社区留言板的侮辱言论 构建一个快速过滤器来屏蔽在线社区留言板上的侮辱性言论。如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标识为内容不当。对此问题建立两个类别: 侮辱类和非侮辱类，使用 1 和 0 分别表示。 提取所有文档中的词条并进行去重 获取文档的所有类别 计算每个类别中的文档数目 对每篇训练文档: 对每个类别: 如果词条出现在文档中-->增加该词条的计数值（for循环或者矩阵相加） 增加所有词条的计数值（此类别下词条总数） 对每个类别: 对每个词条: 将该词条的数目除以总词条数目得到的条件概率（P(词条|类别)） 返回该文档属于每个类别的条件概率（P(类别|文档的所有词条)）
alw-demo:侮辱性语言检测教程
03-22
演习 侮辱性语言检测教程
机器学习---朴素贝叶斯分类器的实现（对文本进行侮辱性言论和非侮辱性言论的分类）
最新发布
weixin_43961909的博客
12-05 1393
本数据 inputSet 中的每个单词 word，如果这个单词在词汇表 vocabList 中，就将 returnVec 中对。本数据 inputSet 中的每个单词 word，如果这个单词在词汇表 vocabList 中，就将 returnVec 中对。简单的数据加载函数，用于生成一个实验样本。最后，函数返回生成的词向量 returnVec，它是一个由0和1组成的向量，表示了文本数据中每。函数返回生成的词袋模型的词向量 returnVec，它是一个由非负整数组成的向量，表示了文本数据。
Python3机器学习-利用朴素贝叶斯自动识别侮辱性文字（numpy）
念着倒障智
01-18 1357
训练集 TrainingSet.py # 词条切分后的文档集合 postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ...
脏话文本检测方案
鲁班七号
11-21 1813
目录1. 场景2. 方案3. 数据增强4. 代码 1. 场景   在问答系统中用户问题可能存在违规情况，包含涉政、色情、辱骂文字的文本视为违规文本。本文提出一种违规文本检测方案， 本方案仅限于判断文本是否包含违规内容，属于文本分类问题。 2. 方案   方案流程图如下所示。违规词和疑似违规词由人工收集，文本中匹配到违规词则识别为违规文本，例如“煞笔”。文本匹配到疑似违规词或者fasttext模型判断为违规文本则进一步由RoBERTa模型判断。 3. 数据增强   为了防止被系统屏蔽，用户通常会魔改违规用语
使用朴素贝叶斯过滤侮辱性评论简单应用与通俗注释
weixin_43225966的博客
11-21 624
1. 这个代码要从testNB()函数开始入手看 def testNB(): """ 朴素贝叶斯算法测试 """ #1、加载数据集[ listClasses为每条数据的类别向量，1代表侮辱性文字，0代表正常言论] listOposts,listClasses = loadDataSet() #2、创建词汇表[ set] wordList = vocabList(listOposts) #3、构造训练数据的文档单词矩阵[每一条数据的单词如果在词
机器学习算法系列之朴素贝叶斯
qq_41999763的博客
06-02 378
本系列机器学习的文章打算从机器学习算法的一些理论知识、python实现该算法和调一些该算法的相应包来实现。 一、朴素贝叶斯法的学习与分类 1、朴素贝叶斯基本方法 先补充一些基本概念，如下： 条件概率(又称作后验概率)：就是事件A在另外一个事件B已经发生条件下发生的概率。表示味：P(A|B)，读作“在B条件下A发生的概率” 联合概率：表示两个事件共同发生的概率。A与B的联合概率表示为：P(A∩B)或P（A，B） 边缘概率（又称先验概率）：是指某个事件发生的概率。边缘概率是这样得到的：在联合概率中
【机器学习实验四】朴素贝叶斯算法
一个正在努力学习的iter
11-17 2913
一、朴素贝叶斯概念 朴素贝叶斯（Naive Bayes）是一种基于概率理论的分类算法，以贝叶斯理论为理论基础，通过计算样本归属于不同类别的概率来进行分类，是一种经典的分类算法。朴素贝叶斯是贝叶斯分类器里的一种方法，之所以称它朴素，原因在于它采用了特征条件全部独立的假设。 贝叶斯理论是指基于能获得的最好证据（观察、数据和信息等），来计算信念度（或者假说、主张、命题）的有效方法。信念度即为对事物的真实性和正确性所具有的信心。朴素贝叶斯的核心便是朴素贝叶斯公式，在了解朴素贝叶斯公式之前不妨先了解条件概率、全概
朴素贝叶斯的应用----文档分类、垃圾邮件过滤
Amy9_Miss的博客
07-27 752
1. 基于朴素贝叶斯的文档分类 ​ 以在线社区的留言板为例。为了不影响社区的发展，需要屏蔽侮辱性的言论，所以要构件一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么久将该留言标识为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类别：侮辱类和非侮辱类，使用1和0分别表示。 ​ 把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现在所有文档中的所有单词，需要构件词汇表，然后必须要将每一篇文档转换为词汇表上的向量。 ​ 这里的留言文本数据，已经被切分好，存放在列表中，并且
机器学习实战：朴素贝叶斯分类方法解析
"这篇实战教程主要讲解了基于概率论的分类方法——朴素贝叶斯算法在机器学习中的应用。作者Leo提供了GitHub链接供读者查阅源代码。教程的核心思想是通过比较不同类别的条件概率来决定数据应归属的类别。条件概率、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值