朴素贝叶斯算法（初学者实例入门）

已于 2024-06-08 13:48:15 修改
阅读量4.6k 收藏 62
点赞数 6
分类专栏： # 机器学习入门篇 文章标签： 分类 算法 机器学习
于 2022-05-11 10:28:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ywj_1991/article/details/124704375
版权

《老饼讲解机器学习》--一个优质的机器学习网站icon-default.png?t=N7T8https://www.bbbdata.com/text/17

目录

一、算法介绍

二、贝叶斯概率公式与判别函数

(一) 贝叶斯原理

(二) 属于各类别的概率计算公式

(三) 判别函数

(四) 概率的实际估算

三.例子讲解

四、模型存储

五、概念补充

(一) 贝叶斯原理、贝叶斯分类器与朴素贝叶斯的区别

(二)先验概率、后验概率、信息证据

本文讲解朴素贝叶斯模型的原理，使用例子，以及线上使用。

一、算法介绍

朴素贝叶斯是基于贝叶斯后验概率建立的模型，它用于解决分类问题。

它的主要思想是，通过历史数据，对每个类别建立经验概率公式，然后当新样本进来时，用各个类别的概率经验公式分别进行预测，最终，属于哪个类别的概率最大，就认为是哪个类别。

注：为了简化，我们不一定用概率公式p(x)，也可以使用它的简化版g(x)替代它。

二、贝叶斯概率公式与判别函数

模型的关键是如何用历史数据构建类别的概率公式，贝叶斯原理恰好可以解决这个问题。

(一) 贝叶斯原理

贝叶斯原理为，在已知发生B条件下,发生A的概率为:


备注：贝叶斯原理可以理解为：  P(B)⋅P(A∣B) = P(B∣A)⋅P(A)， 即： 发生B,且发生A = 发生A且发生B

(二) 属于各类别的概率计算公式

根据贝叶斯原理可以得到，在已知表现特征，属于类别 i 的概率则为：

如果各特征间是独立的，那特征的概率可以拆成累积形式，上式可以写成：

(三) 判别函数

因为每个分母一样，所以我们最终每个类别的决策器只取上式的分子即可，如下

此时，G代表的就不再是概率，而是判别值，称Gi为第i类别的判别函数。

(四) 概率的实际估算

上式各个P的计算用历史样本估算，如下

P(表现为特征Xk|已知属于类别 i)  = 类别 i 中特征k为 x_k的样本个数/ 类别 i 样本个数
P(属于类别 i ) =  类 i 在总本样中的占比
P(表现为特征X_k) =  特征k等于x_k的占比


备注：
(1) 连续变量需要离散化成组别
(2) 如果我们使用G判别函数，则不需要计算P(特征Xk) 

三.例子讲解

历史身高、体重与性别的历史数据：
现在来了个身高分组为3，体重分组为2的，需要判断该样本的类别。

模型判别流程如下：
1、估算各类别下特征表现的概率

P(身高=3|已知属于男) = 男样本中身高分组为3的个数 / 男样本个数 = 1/3   
P(体重=2|已知属于男) = 男样本中体重分组为2的个数 / 男样本个数 = 1/3
P(身高=3|已知属于女) = 女样本中身高分组为3的个数 / 女样本个数 =  1/4 
P(体重=2|已知属于女) = 女样本中体重分组为2的个数 / 女样本个数 = 2/4  


2、估算属于各类别的先验概率(即类别占比)
P(属于男) =3/7
P(属于女) = 4/7


3、 估算特征表现概率（即特征占比）
P(身高=3) = 身高为分组3的占比 =2/7
P(体重=2) = 体重为分组2的占比 = 3/7

4、计算样本属于各类别的概率值（或判别值)
   P(属于男样本 |已知身高=3，体重=2）
= P(身高=3|已知属于男)*P(体重=2|已知属于男) *P(属于男) /[ P(身高=3)*P(体重=2) ]

= \dfrac{ \frac{1}{3}*\frac{1}{3}*\frac{3}{7}}{ \frac{2}{7}*\frac{3}{7}}  


   P(属于女样本 |已知身高=3，体重=2）
= P(身高=3|已知属于女)*P(体重=2|已知属于女) *P(属于女) /[ P(身高=3)*P(体重=2) ]

= \dfrac{ \frac{1}{4}*\frac{2}{4}*\frac{4}{7}}{ \frac{2}{7}*\frac{3}{7}} = \frac{7}{12}

5、结论
是男的概率为7/18,是女的概率为7/12,由此，判断样本属于女。

备注：特征占比在实际计算中不需计算，因为最后是比较大小，分母不必计算。

四、模型存储

实际应用中，我们不会实时计算各个P，而是预存储好P，使用时直接调用。

这里以使用判别函数G举例，则需要存储以下两个数据:

(1) 历史样本中，属于该类别的概率 
(2) 历史样本中，特征表现概率表

具体例子，以k个类别，X含两个特征x1,x2为例，则需要存储：

(1)类别概率表

(2)各个特征概率表
共两个特征的概率表：


PASS:也可以存成以变量名-类别名-组别为主键的竖表，然后通过键值查询各个特征对应的P值，如下：

当进来一个特征[x1,x2]时，按G公式计算各个类别的判别值，在计算Gi时，按每个特征的组别，去表中查询属于i类的概率,最终代入Gi即可。

五、概念补充

(一) 贝叶斯原理、贝叶斯分类器与朴素贝叶斯的区别

1、贝叶斯原理：指的是贝叶斯的后验公式。
2、贝叶斯分类器：指用贝叶斯后验公式建立的分类器。
3、朴素贝叶斯：在贝叶斯分类器的基础上，添加了“变量间独立”的假设条件。

(二)先验概率、后验概率、信息证据

为方便查看，再次贴上贝叶斯公式：

(1) 先验概率

先验概率是指，事情未发生，利用以往经验，对未来预测。例如，P(属于类别i) 就是先验概率，利用之前的类别信息，估算新样本所属类别的概率。

(2) 后验概率

后验概率是指，事情已经发生，执果寻因，用结果倒推原因的概率。例如，病人已病，在咳嗽，求病人咳嗽是由风寒引起的概率。这就是后验概率。 P(属于类别i|已知表现为x特征)则是后验概率。

(3)信息证据

很多信息我们往往不能直接观察到(例如本例中的类别信息)，但我们可以观察到其它一些关联信息（本例中的特征表现），如果不利用贝叶斯原理，我们只能简单的通过以往类别的概率，进行估算。

但是，使用贝叶斯原理后，我们可以根据关联信息（也称为证据），去补充、修正原本简单的类别先验概率。使新得到的概率 P(属于类别i|已知表现为X)更加准确，因为它比原先的简单先验概率添加了更多的信息证据（表现为X特征）。

在这里对这些概念的辨识，是因为后续还会需要用到，提前给个印象。

 相关文章

《入门篇-环境搭建:anaconda安装》

《​​​​​​入门篇-模型：逻辑回归》

《入门篇-模型：决策树-CART》

老饼讲解机器学习
关注
  • 6
    点赞
  • 踩
  • 62
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
入门十大Python机器学习算法（附代码）
12-27
朴素贝叶斯算法基于贝叶斯定理，假设特征之间相互独立。在分类问题中，它计算每个类别的先验概率，并结合特征的条件概率来预测样本属于某一类别的概率。尽管假设过于简化，但在许多实际场景中仍表现良好。在Python...
朴素贝叶斯理论推导与三种常见模型
热门推荐
wepon的专栏
09-09 7万+
朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。很多教材都从这些案例出发，本文就不重复这些内容了，而把重点放在理论推导（其实很浅显，别被“理论”吓到），三种常用模型及其编码实现（Python）。如果你对理论推导过程不感兴趣，可以直接逃到三种常用模型及编码实现部分，但我建议你还是看看理论基础部分。另外，本文的所有代码都可以从我的gith
【机器学习】朴素贝叶斯算法
Dong_ZH的博客
02-23 1万+
朴素贝叶斯（Naive Bayes）是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。由于朴素贝叶斯计算联合概率，所以朴素贝叶斯模型属于生成式模型。经典应用案例包括：文本分类、垃圾邮件过滤等。
【机器学习】-9.十大算法之一朴素贝叶斯（Naive Bayes）算法案例讲解
最新发布
weixin_50804299的博客
05-23 3276
机器学习中的朴素贝叶斯（Naive Bayes）算法是一种基于贝叶斯定理和特征条件独立假设的分类算法。该算法通过计算给定特征下各个类别的概率，并选择概率最大的类别作为预测结果。朴素贝叶斯算法因其简单、高效且易于实现的特点，在文本分类、垃圾邮件过滤、情感分析等领域得到广泛应用。以下案例将详细讲解朴素贝叶斯算法的原理、应用及其实践过程中的注意事项。以山河作礼。🎖️🎖️:Python领域新星创作者，CSDN实力新星认证，CSDN内容合伙人，阿里云社区专家博主，新星计划导师，在职数据分析师。
机器学习算法（7）—— 朴素贝叶斯算法
hu_wei123的博客
10-15 8149
朴素贝叶斯是一种分类算法，经常被用于文本分类，它的输出结果是某个样本属于某个类别的概率。（1）优点朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率对缺失数据不太敏感，算法也比较简单，常用于文本分类分类准确度高，速度快（2）缺点由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好需要计算先验概率，而先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳；
朴素贝叶斯算法
weixin_55773387的博客
11-27 5595
朴素贝叶斯优缺点：优点：在数据较少的情况下仍然有效，可以处理多类别问题缺点：对于输入数据的准备方式较为敏感,由于朴素贝叶斯的“特征条件独立”特点，所以会带来一些准确率上的损失。
机器学习算法——朴素贝叶斯算法
huangQK的博客
11-19 1353
朴素贝叶斯算法是一种经典的概率分类算法，它基于贝叶斯定理和特征独立性假设。该算法常被用于文本分类、垃圾邮件过滤、情感分析等领域。朴素贝叶斯算法的核心思想是通过已知类别的训练样本集，学习出每个类别的概率分布模型，然后根据待分类样本的特征，利用贝叶斯定理计算出样本属于各个类别的后验概率，最终选择具有最大后验概率的类别作为分类结果。在朴素贝叶斯算法中，特征之间被假设为相互独立，这是为了简化计算。尽管这个假设在现实问题中并不总是成立，但朴素贝叶斯算法仍然表现出良好的分类效果。
【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法（公式、原理）
程序星空实验室
06-02 4万+
朴素贝叶斯（Naive Bayes）是一种简单经典的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。条件概率：记事件A发生的概率为P(A)，事件B发生的概率为P(B)，则在B事件发生的前提下，A事件发生的概率即为条件概率，记为P(A|B)。
机器学习入门代码，含BP神经网络（MLP）、KNN回归、SVM超平面、决策树企鹅数据集、朴素贝叶斯、逻辑回归入门代码
07-26
本压缩包提供了一系列的入门代码，涵盖了多种常用且重要的机器学习模型，包括 BP 神经网络（Multilayer Perceptron, MLP）、K-Nearest Neighbors (KNN) 回归、支持向量机（Support Vector Machine, SVM）的超平面...
基于iris数据集进行四种机器学习算法（决策树、朴素贝叶斯、随机森林、支持向量机SVM）的训练.zip
02-15
这个数据集因其简单性和多样性，常被用来作为机器学习初学者入门的实例。 1. 决策树（Decision Tree）：这是一种监督学习算法，用于分类和回归问题。在Iris数据集上，决策树会通过学习特征之间的关系构建一棵树形...
sta_205：贝叶斯统计入门功课
02-10
本压缩包文件"sta_205：贝叶斯统计入门功课"显然是一个针对初学者的教育资源，可能包含教程、笔记、示例代码或练习题，旨在帮助学习者理解并掌握贝叶斯统计的基本概念和应用。 贝叶斯统计的核心思想是通过先验概率...
3天入门Python机器学习.zip
07-11
朴素贝叶斯算法基于贝叶斯定理，假设特征之间相互独立，这是一种概率分类方法。虽然“朴素”假设在实际中往往不成立，但在许多情况下，该算法仍然表现出色，尤其适用于文本分类。 五、决策树 决策树是一种直观的...
朴素贝叶斯（Naive Bayes）详解
weixin_60737527的博客
07-15 2万+
贝叶斯决策论、朴素贝叶斯原理与算法实现、具体应用。
机器学习算法系列（六）-- 朴素贝叶斯
三明治的博客
06-03 4268
朴素贝叶斯法是基于概率统计，特征条件独立假设的分类方法，是一种非常常用的机器学习算法；通常用于处理文本分类和情感分析等自然语言处理任务中。相对于其他复杂的模型，朴素贝叶斯算法具有简单、易于实现、高效和良好的准确性等特点
朴素贝叶斯算法的介绍
Despicable_Me的博客
06-01 7014
朴素贝叶斯算法（Naive Bayes Algorithm）是一种基于贝叶斯定理和特征独立性假设的概率分类算法。它被广泛应用于文本分类、垃圾邮件过滤、情感分析等任务。朴素贝叶斯算法的基本思想是基于训练数据中的特征和标签之间的概率关系，通过计算后验概率来进行分类预测。朴素贝叶斯分类算法alpha：拉普拉斯平滑系数。
朴素贝叶斯的算法
weixin_44677406的博客
11-15 2801
1.朴素贝叶斯的算法 朴素贝叶斯（Naive Bayes）是一种简单经典的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤） 1.1 贝叶斯定理 条件概率： P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：P(A|B)=P(AB)P(B) 贝叶斯定理便是基于条件概率，通过P(A|B)来求P(B|A)： 另外：上式中的分母P(A),可以根据全概率公式分解为： 1.2 特征条件独立假设 特征条件假设:假设每个特征之间没有联系 给定训
图解机器学习算法(5) | 朴素贝叶斯算法详解（机器学习通关指南·完结）
ShowMeAI研究中心
03-10 2万+
朴素贝叶斯是一个非常直观的模型。本文讲解朴素贝叶斯算法的核心思想、贝叶斯公式、条件独立假设、平滑出等重要知识点，并图解多项式贝叶斯和伯努利贝叶斯等多种形态。
机器学习（3）高斯判别分析&朴素贝叶斯分类器
lxx909546478的博客
10-19 3447
判别模型与生成模型 判别模型 判别模型是对观测数据进行直接分类，常见的判别模型有逻辑回归和感知机算法等。此模型仅对数据进行分类，并不能具象化或者量化数据本身的分布状态，因此也无法根据分类生成可观测的图像。 生成模型 与判别模型不同，生成模型首先了解数据本身分布情况，并进一步根据输入 x，给出预测分类 y 的概率。该模型有着研究数据分布形态的概念，可以根据历史数据生成新的可观测图像。 贝叶斯分类就是一个典型的例子。在这个例子中，我们有一个先验分类，根据这个先验分类，我们可以使用贝叶斯公式计算每个分类的概率，然
朴素贝叶斯算法python实例
05-31
下面是一个朴素贝叶斯算法的 Python 实例，用于分类文本： ```python import numpy as np from sklearn.naive_bayes import MultinomialNB from sklearn.feature_extraction.text import CountVectorizer # 生成训练数据 train_data = np.array([ 'Chinese Beijing Chinese', 'Chinese Chinese Shanghai', 'Chinese Macao', 'Tokyo Japan Chinese' ]) train_labels = np.array(['c', 'c', 'c', 'j']) # 使用 CountVectorizer 将文本转换为词袋向量 vectorizer = CountVectorizer() train_features = vectorizer.fit_transform(train_data) # 使用 MultinomialNB 训练模型 clf = MultinomialNB() clf.fit(train_features, train_labels) # 预测新数据 test_data = ['Chinese Chinese Chinese Tokyo Japan'] test_features = vectorizer.transform(test_data) predicted_labels = clf.predict(test_features) print(predicted_labels) # 输出 ['c'] ``` 在上面的例子中，我们首先生成了训练数据和标签，其中训练数据是一些文本，标签是它们对应的类别。然后使用 `CountVectorizer` 将文本转换为词袋向量，即将每个文本看作一个向量，向量中每个元素表示一个词在文本中出现的次数。 接着使用 `MultinomialNB` 训练模型，该模型是朴素贝叶斯算法的一种变体，适用于多项式分布的数据，例如词袋向量。 最后使用训练好的模型预测新的数据，这里只有一个文本，预测它属于哪个类别。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值