用朴素贝叶斯分类算法做中文文本分类

最新推荐文章于 2024-05-15 18:38:16 发布
最新推荐文章于 2024-05-15 18:38:16 发布
阅读量1.5w 收藏 54
点赞数 4
分类专栏： 机器学习 文章标签： 机器学习 朴素贝叶斯分类算法 中文文本分类 中文分词 停用词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whai362/article/details/51842513
版权

一. 朴素贝叶斯分类算法的原理

朴素贝叶斯分类器基于属性条件独立假设：对于已知类别，假设所有属性相互独立，也就是说，假设每个属性独立地对分类结果产生影响。
设待分类的样本属性集为 T T ，其中包含 n 个属性，分别为 t1,t2,t3...tn t 1 , t 2 , t 3 . . . t n ，类别集合为 γ γ ，当前待判断类别为 c c ，基于属性条件独立性假设，可得：

最低0.47元/天 解锁文章
whai362
关注
  • 4
    点赞
  • 踩
  • 54
    收藏
    觉得还不错? 一键收藏
  • 20
    评论
专栏目录
用朴素贝叶斯分类算法做中文文本分类-附件资源
03-02
用朴素贝叶斯分类算法做中文文本分类-附件资源
中文文本分类-朴素贝叶斯
晓风残月xj
09-16 7838
贝叶斯分类器是基于先验概率与条件概率进行概率计算的分类器。Ｘ是特征属性，Y是分类属性，P(Y|{x0,x1....xn})是X在取值{x0,x1,...xn}的条件下Y发生的概率，成为P(Y)的后验概率，P(Y)的先验概率。实际在计算P(Y|{x0,x1....xn})的时候由于维度太高，至少需要考虑特征属性与分类属性的所有搭配情况，计算量大而且无法对待分类数据集进行全面覆盖。
基于朴素贝叶斯的文本分类算法
kexinxin1的博客
12-01 6921
基于朴素贝叶斯的文本分类算法 摘要：常用的文本分类方法有支持向量机、K-近邻算法和朴素贝叶斯。其中朴素贝叶斯具有容易实现，运行速度快的特点，被广泛使用。本文详细介绍了朴素贝叶斯的基本原理，讨论多项式模型（MM），实现了可运行的代码，并进行了一些数据测试。 关键字：朴素贝叶斯；文本分类 第1章 贝叶斯原理 1.1 贝叶斯公式[1] 已知某条件概率，如何得到两个事件交换后的概率，也就...
【NLP】文本分类
最新发布
weixin_46876169的博客
05-15 1017
分为学习器和分类器，学习器学习手工标注的数据集并输出训练好的分类器，分类器对于实际需要分类的文档进行分类，选择对应的文档类别进行输出。问题：容易过度拟合数据，比如将错误的数据或者噪声按照定义分类进了对应的组，或是由于其最近邻是噪声而错误分类到了原本不属于新数据的组别。把数据分成不交叉的五等分，其中一份做测试，另外四份做训练，独立的进行五轮，将这五轮的平均性能作为模型的性能。定义两个样本点之间的距离函数，并将新的样本划分到距离其最近的样本所在的类别中。文本的分类，就是将文本在语义的理解下划分到特定的主题下。
基于朴素贝叶斯算法对新闻文本进行分类
m0_64336780的博客
10-04 1万+
贝叶斯定理（Bayes Theorem）也称贝叶斯公式，是关于随机 事件的条件概率的定理 定理内容： 如果随机事件A1 ,A2 ,...,An构成样本空间的一个划分（不重、不 漏），且都有正概率，则 对任何一个事件B（P(B)>0），有贝叶斯定理是“由果溯因”的推断，所以计算的是"后验概率"据天气预报预测，今日下雨(事件A)的概率为50%——P(A)；堵车（事件B）的概率是80%——P（B）如果下雨，堵车的概率是95%——P(B|A)计算：如果放眼望去，已经堵车了，下雨的概率是多少？
实战：手把手教你用朴素贝叶斯对文档进行分类
小白学视觉
08-24 1880
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 本文转自|视觉算法 朴素贝叶斯分类最适合的场景就是文本分类、情感分析和垃圾邮件识别。其中情感分析和...
基于朴素贝叶斯分类器的文本分类
修炼之路
08-29 3335
一、什么是朴素贝叶斯 朴素贝叶斯：它是一系列以假设特征特征之间强独立下运用的贝叶斯定理为基础的简单概率分类器，它的核心思想就是，假设有一篇文章，它属于A类文章的概率为P(A)属于B类文章的概率为P(B),如果P(A)>P(B)，则这篇文章属于A类，否则这篇文章属于B类。 优点：在数据较少的情况下仍然有效，可以处理多分类问题 缺点：对于输入数据的准备方式较为敏感 二、程序实现流程图 运行环
【机器学习】朴素贝叶斯文本分类
xj154466的博客
03-04 804
朴素贝叶斯算法 1.朴素贝叶斯算法简介 朴素贝叶斯是在贝叶斯的基础上提出的一种分类算法，朴素贝叶斯分类算法通过计算目标对象的先验概率，利用贝叶斯定理计算得到后验概率，然后比较后验概率大小进行决策分类. 朴素贝叶斯算法具体描述： 对于样本数据集： 每个样本数据的特征属性： 类变量： D可以分为d个类别.朴素贝叶斯公式可以表示为： P(Y|X)称为后验概率，P(Y)为先验概率，P(X|Y)为条...
基于朴素贝叶斯分类器的文本分类算法(C语言)-综合文档
05-22
基于朴素贝叶斯分类器的文本分类算法(C 语言)概述 基于朴素贝叶斯分类器的文本分类算法是自然语言处理领域中的一种常见算法。朴素贝叶斯分类器（Naive Bayes Classifier）是一种基于贝叶斯定理的分类算法，它假设每...
文本分类（朴素贝叶斯算法）
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
08-28 4233
一、贝叶斯定理引入 1、朴素贝叶斯：   朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。 2、贝叶斯公式： 3、换成分类任务的表达式   那么我们最终求的p(类别|特征)即可！就相当于完成了我们的任务。 二、数据集介绍 1、原始数据集 2、测试数据集   为了减少任务量，测试数据集为自己在原始数据集上打乱后所得。 三、文本分类步骤 四、TF-IDF逆文本频率指数 概念   TF-IDF（term frequency–inv
贝叶斯⑤——搜狗新闻分类实战（jieba + TF-IDF + 贝叶斯）
cindy407的博客
06-26 3985
分类过程： 1、导入文件并用jieba分 2、随机抽取训练和测试样本 3、建立tf-idf词频权重矩阵 4、朴素贝叶斯分类（采用多项式模型） 数据集下载 选取了搜狗新闻下财经，体育、教育等九大类别共90篇文章，本博文将使用朴素贝叶斯进行分类实战 数据集下载：https://pan.baidu.com/s/1RvhuRVKbIYowoItlyfqMTA，密码：h5rf 一、读取文件并用jieba分词...
基于朴素贝叶斯实现的文本分类
09-25
用python实现的朴素贝叶斯，部分分类正确率达到95%以上，对于部分主题敏感度不高。
搜狗实验室文本分类语料库
热门推荐
SNS程飞的专栏
03-03 1万+
语料库介绍 文本分类语料库来源于Sohu新闻网站保存的大量经过编辑手工整理与分类的新闻语料与对应的分类信息。其分类体系包括几十个分类节点，网页规模约为十万篇文档。 语料库统计的意义：提供一个较大规模的标准中文文本分类测试平台。 应用案例：中文文本分类，主题跟踪与检测等。 语料库说明 语料库数据包括： [1] 用于分类的新闻语料，按照SOGOU-T网页语料库格式整理 [2] 分
朴素贝叶斯实现中文文本分类项目-学习笔记-python
qq_37077750的博客
08-07 3326
基于朴素贝叶斯模型的中文文本分类 这里只介绍主要实现过程，主要思想会在后面的博客中写出来，因为现在自己也是一知半解 数据集介绍 朴素贝叶斯模型是有监督分类模型，因此需要采用预处理好的训练数据集，我采用的是“复旦大学计算机信息与技术国际数据库中心自然语言处理小组”提供的小样本中文文本分类语料 https://download.csdn.net/download/qq_37077750/12692257 有能力的也可以自己写爬虫爬取文本数据。 中文分词 因为是中文文本分类，所以需要进行中文分词，本文采用pyth
国内可用免费语料库（已经整理过，凡没有标注不可用的链接均可用）
weixin_30681121的博客
09-25 2660
(一) 国家语委 1国家语委现代汉语语料库http://www.cncorpus.org/ 现代汉语通用平衡语料库现在重新开放网络查询了。重开后的在线检索速度更快，功能更强，同时提供检索结果下载。现代汉语语料库在线提供免费检索的语料约2000万字，为分词和词性标注语料。 2古代汉语语料库http://www.cncorpus.org/login.aspx 网站现在还增加了一亿字的古代汉语生...
【自然语言处理基础技能（NLP)】朴素贝叶斯
独守夕阳余晖
11-14 1849
朴素贝叶斯 目录： 1. 引言 2. 贝叶斯公式 3. 用机器学习的视角理解贝叶斯公式 4. 垃圾邮件识别 5. 分词 6. 条件独立假设 7. 朴素贝叶斯(Naive Bayes)，“Naive”在何处？ 8. 简单高效，吊丝逆袭 9.处理重复词语的三种方式 9.1多项式模型 9.2伯努利模型 9.3.混合模型 10.去除停用词与选择关键词 ...
朴素贝叶斯中文分类
weixin_46070656的博客
05-07 862
朴素贝叶斯分类算法是在所有相关概率均已知的前提下，对未知类别的数据计算出最优类别标签的算法。因此，概率是朴素贝叶斯分类算法运行的基础，特别是随机变量的先验概率、条件概率及联合概率。贝叶斯公式可以灵活应用在未知事物的分类当中，只要知道相应事件的概率，就可以计算出某一个事物属于某一个分类的概率。一所学校里面有60%的学生为男生，40%的学生为女生。已知男生总是穿裤子，女生则一半穿裤子，一半穿裙子。假设走在该校园中遇到一位穿裤子的学生，请计算该学生为女生的概率。
项目实践 | 一文览尽人脸打卡全过程
3D视觉工坊
05-06 522
项目流程介绍开发平台：win10开发软件：PyCharm界面开发：PyQt5face_lib文件夹align_dlib.py文件：主要进行人脸对齐。face_recg.py文件：进行人脸...
基于朴素贝叶斯的中文文本分类器(python实现，非调用)
monteCarloStyle的博客
04-12 6369
本文将用朴素贝叶斯原理做一个中文文本分类器。朴素贝叶斯完全可以胜任多分类任务。为了方便，这里就先做个2分类的。理论部分：https://blog.csdn.net/montecarlostyle/article/details/79870860 我们事先准备两类中文邮件，一类是有些报刊编辑发的征稿广告，另一类是一些支付信息（正常通信的邮件太少了，不好找）。 我们的目的 有了理论准备之后，我们...
用朴素贝叶斯算法进行文本分类
05-20
朴素贝叶斯算法是一种基于概率论的分类算法，它假设特征之间相互独立，因此被称为“朴素”。在文本分类中，朴素贝叶斯算法可以用来确定一个文本属于哪个预定义的类别。 具体来说，朴素贝叶斯算法将每个文本看作一个向量，其中每个维度表示一个词汇或特征。算法首先计算每个类别的先验概率，即在训练集中每个类别出现的概率。然后，对于一个新的文本，算法计算该文本在每个类别下的条件概率。最终，算法选择具有最高条件概率的类别作为文本的分类结果。 朴素贝叶斯算法的主要优点是计算简单、速度快，并且可以处理高维数据。但是，它的缺点是假设特征之间相互独立，这在实际情况下并不总是成立。此外，朴素贝叶斯算法对数据的分布假设较为严格，可能会导致低准确率。 下面是一个简单的 Python 代码示例，演示如何使用朴素贝叶斯算法进行文本分类： ```python from sklearn.datasets import fetch_20newsgroups from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB # 加载数据集 newsgroups_train = fetch_20newsgroups(subset='train', categories=['alt.atheism', 'sci.space']) newsgroups_test = fetch_20newsgroups(subset='test', categories=['alt.atheism', 'sci.space']) # 特征提取 vectorizer = CountVectorizer() X_train = vectorizer.fit_transform(newsgroups_train.data) X_test = vectorizer.transform(newsgroups_test.data) # 训练朴素贝叶斯分类器 clf = MultinomialNB() clf.fit(X_train, newsgroups_train.target) # 测试分类器 predicted = clf.predict(X_test) print("Accuracy:", clf.score(X_test, newsgroups_test.target)) ``` 在这个例子中，我们使用 Scikit-learn 库中的 fetch_20newsgroups 函数加载数据集，并使用 CountVectorizer 类将文本转换为向量。然后，我们使用 MultinomialNB 类训练朴素贝叶斯分类器，并使用 score 函数计算分类器的准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值