ML之NB：朴素贝叶斯Naive Bayesian算法的简介、应用、经典案例之详细攻略

已于 2023-12-13 18:50:02 修改
阅读量1.3w 收藏 24
点赞数 7
分类专栏： ML NLP/LLMs 文章标签： 算法 机器学习 人工智能
于 2018-08-24 11:11:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/82014697
版权
NLP/LLMs 同时被 2 个专栏收录
535 篇文章 419 订阅
订阅专栏
ML
514 篇文章 131 订阅
订阅专栏

ML之NB：朴素贝叶斯Naive Bayesian算法的简介、应用、经典案例之详细攻略

目录

NB算法的简介

1、朴素贝叶斯计算流程表述

2、朴素贝叶斯的优缺点

2.1、优点

2.2、缺点

3、分类模型之DT与NB的比较

NB算法的应用：案例理解

1、基于朴素贝叶斯的垃圾邮件文本分类：问题描述→数据预处理→建模→优化算法(拉普拉斯平滑)→反思NB算法

2、基于朴素贝叶斯的情感文本分类

NB算法的经典案例

垃圾邮件分类

ML之NB：基于垃圾邮件数据集利用多项式朴素贝叶斯分类器实现二分类实战代码

新闻分类

ML之NB：利用朴素贝叶斯NB算法(CountVectorizer+不去除停用词)对fetch_20newsgroups数据集(20类新闻文本)进行分类预测、评估

主题模型分类

NLP之TM之Dirichlet：朴素贝叶斯NB的先验概率之Dirichlet分布的应用

语种分类

NLP之NB：基于Language_data不同语种训练数据集利用NB(朴素贝叶斯)算法实现对新语种分类检测

影评分类

NLP之TEA之NB/LoR：基于Rotten Tomatoes影评数据集利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)实现文本情感分类—五分类预测

NLP之TEA之NB/GBT：基于Kaggle IMDB影评数据集(国外类似豆瓣电影)利用朴素贝叶斯(count/tfidf+网格搜索+4fCrva)、梯度提升树(w2c+网格搜索+4fCrva)算法实现文本情感分析(情感二分类预测)

NB算法的简介

        朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。
        通过以上定理和“朴素”的假定，我们知道：
P(Category | Document) = P(Document | Category ) * P(Category) / P(Document)

        朴素贝叶斯的基本方法：在统计数据的基础上，依据条件概率公式，计算当前特征的样本属于某个分类的概率，选择最大的概率分类。对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

1、朴素贝叶斯计算流程表述

  • （1）x = {a1, a2,..., am}为待分类项，每个ai为x的一个特征属性
  • （2）有类别集合C = {y1, y2, ..., yn}
  • （3）计算P(y1|x), P(y2|x), ..., P(yn|x)
  • （4）如果P(yk|x) = max{P(y1|x)

2、朴素贝叶斯的优缺点

2.1、优点

        朴素贝叶斯算法假设了数据集属性之间是相互独立的，因此算法的逻辑性十分简单，并且算法较为稳定，当数据呈现不同的特点时，朴素贝叶斯的分类性能不会有太大的差异。换句话说就是朴素贝叶斯算法的健壮性比较好，对于不同类型的数据集不会呈现出太大的差异性。当数据集属性之间的关系相对比较独立时，朴素贝叶斯分类算法会有较好的效果。

2.2、缺点

        属性独立性的条件同时也是朴素贝叶斯分类器的不足之处。数据集属性的独立性在很多情况下是很难满足的，因为数据集的属性之间往往都存在着相互关联，如果在分类过程中出现这种问题，会导致分类的效果大大降低。

3、分类模型之DT与NB的比较

        最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。

NB算法的应用：案例理解

1、基于朴素贝叶斯的垃圾邮件文本分类：问题描述→数据预处理→建模→优化算法(拉普拉斯平滑)→反思NB算法

问题描述

数据集：1000封邮件，每个邮件被标记为垃圾邮件c1或者非垃圾邮件c2

分类目标：给定第1001封邮件，判断它否为垃圾邮件，比如”我司可办理正规发票17%增值税发票点数优惠！“

方法：朴素贝叶斯

核心：判断P(“垃圾邮件”|“具有某特征”）是否大于1/2。

数据预处理

构建数据表示：分词，把一整句话拆分成更细拉度的词语来进行表示。因为整体一句话很难让机器读懂学习去使用。

可以采用向量法。

T1、基于现成的单词词典；将所有邮件中出现的单词都统计出来，得到词典。记单词数目为N。

T2、基于原始词库表，因为我们常用的词也就N=5万个左右；

将每个邮件m映射成维度为N的向量x。

若单词wi在邮件m中出现过，则xi=1，否则，xi=0。即邮件的向量化：m → (x1,x2……xN)。

建模

采用NB算法建模：

第一步，计算两个类别的条件概率

贝叶斯公式：P(c|x)=P(x|c)*P(c) / P(x)

n P(c1|x)=P(x|c1)*P(c1) / P(x)

n P(c2|x)=P(x|c2)*P(c2) / P(x)。

注意这里x是向量

第二步，分解公式：

o P(c|x)=P(x|c)*P(c) / P(x)

o P(x|c)=P(x1,x2…xN|c)=P(x1|c)*P(x2|c)…P(xN|c)。特征条件独立假设

o P(x)=P(x1,x2…xN)=P(x1)*P(x2)…P(xN)。特征独立假设

引进朴素近似：S表示垃圾邮件，即传说中的条件独立性假设

公式简化：只对于二分类。两个公式相除得到的商>0.5时则为垃圾邮件。好处能把分母约掉。

比较后验概率大小进而得出结果：每一项都特别好求，只需要分别统计各类邮件中该关健词出现的概率就可以了，比如【发票】。只要商 >1推出是垃圾邮件。

其实从一个大词库内，统计一个词的词频，可以大批量的并行化进行，所以速度很快。

第三步，带入公式： P(c|x)=P(x|c)*P(c) / P(x)

P(xi|cj)：在cj(此题目，cj要么为垃圾邮件1，要么为非垃圾邮件2)的前提下，第i个单词xi出现的概率；

P(xi)：在所有样本中，单词xi出现的概率；

P(cj) ：在所有样本中，邮件类别cj出现的概率；

优化算法

拉普拉斯平滑

p(x1|c1)是指的:在垃圾邮件c1这个类别中，单词x1出现的概率。 x1是待考察的邮件中的某个单词

定义符号

n n1：在所有垃圾邮件中单词x1出现的次数。如果x1没有出现过，则n1=0。

n n：属于c1类的所有文档的出现过的单词总数目。

进行拉普拉斯平滑：

n 其中，N是所有单词的数目。修正分母是为了保证概率和为1。同理，以同样的平滑方案处理p(x1)。

反思

对朴素贝叶斯的思考

(1)、遇到生词怎么办？拉普拉斯平滑

(2)、编程的限制：小数乘积怎么办？取对数

(3)、一个词在样本中出现多次，和一个词在样本中出现一次，形成的词向量相同，由0/1改成计数

(4)、如何判断两个文档的距离？夹角余弦

(5)、如何判定该分类器的正确率？样本中：K个生成分类器，1000-K个作为测试集，进行交叉验证

(6)、若对象特征之间不独立，会演化成何种形式？

2、基于朴素贝叶斯的情感文本分类

问题描述

A=1时表示文档是正向情感，反之则为负向情感。

给定一篇新文档B，如何判定该文档是正/负向情绪的文档?

整体思路

(1)、将该文档B用进行分词、停用词去除等预处理

(2)、将该文档B用词袋模型(向量空间模型)进行表示

(3)、利用贝叶斯公式

(4)、分别计算P(A=1|B)、P(A=0|B)，若前者大则正向情感，后者大则负向情感。

以结果为导向

给定一篇文档B，判断情感分类，则需要计算P(A|B)，那么，根据贝叶斯公式可获得：

分析目标

只需要计算P(A=1|B)即可，P(A=0|B)=1-P(A=1|B)

那么，需要从训练文档集合中估计出以下数值

P(A=1)：一篇文章是正向的先验概率，

P(A=0)：一篇文章是负向的先验概率，

P(B_i=1|A=1)：词语B_i在正向文章中出现的概率

P(B_i=1|A=0)：词语B_i在负向文章中出现的概率

分析内容

若P(B_i=1|A=1)很大，则该词语是一个正向情绪的词语，例如高兴、喜欢等。

若P(B_i=1|A=0)很大，则该词语是一个负向情绪的词语，例如生气、讨厌等。

计算

给定训练集合{(B, y)}，包含n个文档，n=n_p+n_n

n_p是正向文档个数、n_n是负向文档个数，B是文档的向量空间表示，y是文档的正负标签(0负向、1正向)

(1)、非常简单，只需要对数据集合做一个简单统计即可，词语只计算出现与否，不讨论出现的次数。

(2)、向量空间模型只包含了一元词语，可以拓展为N-gram模型，包括词组、成语等。

P(A=1)：所有文档中正向文档的比例n_p/n；

P(A=0)：所有文档中正向文档的比例n_n/n；

P(B_i=1|A=1)：词语B_i在正向文章中出现的概率count(B_i|A=1)/n_p；

P(B_i=1|A=0)：词语B_i在负向文章中出现的概率count(B_i|A=0)/n_n；

NB算法的经典案例

垃圾邮件分类

ML之NB：基于垃圾邮件数据集利用多项式朴素贝叶斯分类器实现二分类实战代码

https://yunyaniu.blog.csdn.net/article/details/87886811

新闻分类

ML之NB：利用朴素贝叶斯NB算法(CountVectorizer+不去除停用词)对fetch_20newsgroups数据集(20类新闻文本)进行分类预测、评估

https://yunyaniu.blog.csdn.net/article/details/88082855

主题模型分类

NLP之TM之Dirichlet：朴素贝叶斯NB的先验概率之Dirichlet分布的应用

https://yunyaniu.blog.csdn.net/article/details/82056119

语种分类

NLP之NB：基于Language_data不同语种训练数据集利用NB(朴素贝叶斯)算法实现对新语种分类检测

https://yunyaniu.blog.csdn.net/article/details/87652618

影评分类

NLP之TEA之NB/LoR：基于Rotten Tomatoes影评数据集利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)实现文本情感分类—五分类预测

https://yunyaniu.blog.csdn.net/article/details/87707184

NLP之TEA之NB/GBT：基于Kaggle IMDB影评数据集(国外类似豆瓣电影)利用朴素贝叶斯(count/tfidf+网格搜索+4fCrva)、梯度提升树(w2c+网格搜索+4fCrva)算法实现文本情感分析(情感二分类预测)

https://yunyaniu.blog.csdn.net/article/details/88412012

一个处女座的程序猿
关注
专栏目录
朴素贝叶斯算法（NB)
业精于勤，荒于嬉；行成于思，毁于随。
12-06 2226
算法分析：贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN和GBN。这次使用NB算法来实现。        实现步骤：     1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。       2、统计
机器学习实战-53:朴素贝叶斯分类算法(Naive Bayesian, NB)
智能多媒体
10-02 1043
朴素贝叶斯(Naive Bayesian, NB)分类算法属于监督学习算法。朴素贝叶斯(Naive Bayesian, NB)分类算法基于贝叶斯定理和极大似然估计对数据集分类。贝叶斯定理的强大之处在于能够根据不确定性信息作出推理和决策。当你不能确定一个事件发生的概率时，你可以依靠于该事件本质属性相关的事件发生的概率去推断该事件发生的概率。贝叶斯定理可用于贝叶斯推断: 随着信息增加，贝叶斯定理可以用于更新假设的概率。在决策理论中，贝叶斯推断与主观概率密切相关，通常被称为贝叶斯概率。
基于数据挖掘（朴素贝叶斯算法）的豆辦评论文本情感分析（修改版）
最新发布
m0_63931079的博客
07-19 1047
本文探讨了基于朴素贝叶斯算法的文本情感分析方法，特别针对豆瓣网站上的评论数据。文章首先概述了情感分析的重要性和发展历程，指出了现有方法的局限性，包括文本数据的多样性和复杂性、多语言和跨文化情感分析的困难，以及处理大规模数据集时的效率和可扩展性问题。 针对这些问题，文章提出了一种改进策略，梳理了基于机器学习和深度学习的情感分析方法，并探讨了如何利用大数据技术提高情感分析的效率和可扩展性。作者提出了一种结合传统机器学习和深度学习的方法，旨在提高情感分析的准确性和效率。 朴素贝叶斯算法；文本情感分析；数据挖掘；豆
Naive Bayes算法（朴素贝叶斯算法）
Panonsense
04-19 1650
NaiveBayes（朴素贝叶斯）是ML中的一个非常基础和简单的算法
NB：朴素贝叶斯分类（Naive Bayesian）
Jack_Kuo的博客
01-01 419
朴素贝叶斯算法 & 应用实例： https://www.cnblogs.com/marc01in/p/4775440.html
深入理解贝叶斯分类与朴素贝叶斯模型（Naive Bayes, NB）：从基础到实战
weixin_54703767的博客
12-02 953
一种通常的做法是忽略文本中的词序关系，假设各个特征词的位置都是可以互换的，即词袋模型（Bag Of Word，BOW）。基于以上条件的贝叶斯模型，称为。计算机，t2 = 排球，t3 = 运动会，t4 = 高校，t5 = 大学，y = 1表示教育类，y = 0表示体育类，可以得到如下参数估计结果。在朴素贝叶斯分类器中，特征之间的独立性假设是一个简化，但在实际应用中，该方法在垃圾邮件过滤等任务上表现良好。从参数估计的结果例可以看出，在多项式分布假设下，频率正是概率的最大似然估计值，例如，类别概率。
机器学习之朴素贝叶斯：Naive Bayesian(二、算法案例)
梅菜扣肉
07-10 1109
一、鸢尾花数据集朴素贝叶斯实现 # 导入算法包以及数据集 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report,confusion_matrix from sklearn.naive_bayes import MultinomialNB,BernoulliNB,Gaussian
朴素贝叶斯模型（NAIVE BAYESIAN MODEL)
weixin_41690708的博客
07-15 3540
朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。虽然这个简化方式在一定程度上降低了贝叶斯分类算法的分类效果，但是在实际的应用场景中，极大地简化了贝叶斯方法的复杂性。 数学基础公式知识总结： 先验概率P(A)：在不考虑任何情况下，A事件发生...
朴素贝叶斯分类算法（Naive Bayesian classification）
向往未来
11-29 1万+
朴素贝叶斯分类算法（Naive Bayesian classification） PS：本文在讲解的时候会用通俗的例子来讲解 本文我们将学习到： （1）什么是朴素贝叶斯？ （2）先验概率和条件概率是如何证明的？ （3）文本分类的多项式模型和伯努利模型（附加例子说明） （4）垃圾邮件的分类及代码的演示（暂缺以后会补上） （1）什么
机器学习之朴素贝叶斯(NB)分类算法与Python实现
热门推荐
moxigandashu的博客
05-09 2万+
朴素贝叶斯（Naive Bayesian）是最为广泛使用的分类方法，它以概率论为基础，是基于贝叶斯定理和特征条件独立假设的分类方法。文章总结在学习《机器学习实战》过程中的心得体会，对朴素贝叶斯的原理和Python实现方法进行了归纳总结。
MATLAB算法实战应用案例精讲-【数模应用】朴素贝叶斯（NB）(附Java、R语言、Python和MATLAB代码)
qq_36130719的博客
09-20 392
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。主要用于文本分类。朴素贝叶斯法（Naive Bayes model）是基于贝叶斯定理与特征条件独立假设的分类方法。朴素，即特征条件独立，就是在整个形式化过程中只做最原始的假设；贝叶斯：基于贝叶斯定理。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）
AMR-NB算法
03-21
3GPP AMR-NB C++算法，分享给需要的朋友
朴素贝叶斯（Naive Bayesian）分类器原理入门
oo笨小孩oo的专栏
08-02 3420
NB分类算法是概率学派的经典算法，也是机器学习中的一个非常经典非常基础的分类算法，NB算法有很强的数学理论作为支撑，本文主要介绍了NB算法的基本原理与数学推导。假设我们有一组训练数据： ｛(x1,c1),(x2,c2)......(xn,cn)｝｛(x_1, c_1), (x_2, c_2)...... (x_n, c_n)｝ 其中cic_i是每个数据的标签类别，xix_i是特征向量，我们需要根
NB 算法
weixin_46007132的博客
05-09 529
基础理论： 1.条件概率 P(AB)=P(A)P(B∣A) P(A) 表示事件 A 发生的概率; P(AB)表示事件 A 和 B 同时发生的概率; P(B|A) 表示在事件 A发生的情况下, 事件 B 也发生的概率。 2.Laplacian 平滑 零概率问题：在计算事件的概率时，如果某个事件在训练集中没有出现，那么会导致该事件的概率结果为0. Laplacian 平滑是为了解决零概率的问题。举例：假设有三个仅包含字母的文本分类w1、w2、w3,在指定的训练样本中查找字母k。查找到的次数分别为0..
Naive Bayes 算法（NB算法）
08-04 1576
Naive Bayes 算法（NB算法）俺不是大牛啊，只能写写这种浅显的文章了，算是抛砖引玉吧naive bayes（朴素贝叶斯，下面简称NB ^_^）是ML中的一个非常基础和简单的算法，常常用它来做分类，我用它做过text classification。现在的研究中大概已经很少有人用它来实验了（除非是做base line），但确实是个很好的入门的算法，来帮助自己更加深
机器学习——NB算法（包括符号型与数值型两种）
weixin_43763325的博客
07-24 707
4.符号型NB算法使用的是mushroom.arff数据集，数值型NB算法使用的是iris.arff数据集。3.为防止0概率冲突事件需要对数据进行平滑处理。NB算法(包括符号型与数值型,结合Java程序分析)中学习代码的基础公式。......
分类算法 朴素贝叶斯（NB算法）
AlbertLiangzt的博客
06-28 1236
python代码及相关数据 链接：https://pan.baidu.com/s/1DhSsi5LdDlERv_g_v2-XVQ 提取码：sn53 复制这段内容后打开百度网盘手机App，操作更方便哦 第一部分 分类算法 NB算法 朴素贝叶斯 (NaiveBeyesian Classification) 一、概述 一种常见的机器学习任务 给定一个对象，将其划分到预定好的某类别中 （贝叶斯决策理论）核心思想 选择高概率对应的类别 二、贝叶斯原理 P(X):待分类对象自身的概率，可忽略 P
机器学习算法基础——Task02朴素贝叶斯
qq_44915960的博客
04-23 1454
1.朴素贝叶斯“朴素”在哪里？ 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法 。 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，...
机器学习算法之--朴素贝叶斯（NB）
u013953226的博客
08-02 1150
机器学习算法很多，常见的有朴素贝叶斯，逻辑回归，决策树，等等今天让我们开启对朴素贝叶斯的认识。。。 分类技术认识： 定义：给定一个对象X，将其划分为到预定义好的某一个类别Yi中。 -输入 ： X -输出： Y (取值于有限集合{y1,y2,y3....yn}) 应用：邮件是否垃圾，病人分类，点击是否有效等等。 通俗理解： 这里输入对象是一篇文章X，那么到底是军事还是财经就是Y。 常...
算法杂货铺：朴素贝叶斯分类原理与应用
“算法杂货铺—分类算法之朴素贝叶斯分类” 本文主要探讨的是朴素贝叶斯分类，这是基于贝叶斯定理的一种广泛应用的分类算法。在计算机科学和机器学习领域，算法是解决问题的关键工具，特别是对于数据驱动的任务，如...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值