机器学习之贝叶斯定理，看这一篇就够了！

已于 2024-10-15 04:25:40 修改
阅读量1.6k 收藏 29
点赞数 11
分类专栏： 机器学习 文章标签： 机器学习 人工智能 算法
于 2024-10-10 17:04:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74009895/article/details/142795199
版权

第一部分：初步认识贝叶斯定理

贝叶斯方法的核心思想和原理基于贝叶斯定理，它主要用于在已有知识（先验信息）基础上结合新的数据或证据，逐步更新对某个事件或参数的信念。

贝叶斯方法的核心思想可以总结为 更新信念：我们通过将新的数据与已有的知识结合起来，更新对未知量（如参数、模型或事件）的概率估计。它打破了传统频率统计中的固定参数概念，而是把参数视为随机变量，允许它们根据新的证据不断变化。

贝叶斯方法的基础理论是“概率统计”

宏观上，数据的处理方式可以分为空间和时间以下两类：

以分类问题为例，我们之前学的判别式，是通过已有的规律训练模型，找到划分的决策边界，通过输入x判断y的值，所以叫做判别式。

而现在的生成式模型，不需要决策边界，求的是条件概率分布个联合概率分布求得各个分类类别之间，谁的概率大，就分给哪一个类别。

第二部分：贝叶斯公式

p(s):叫做先验prior

p(o|s):条件概率，可能性，最大似然估计likelihood

p(o)：观测的数据Evidence,Marginal，Normaligation

p(s|o):叫做后验：posterior

第三部分：参数估计

一般来说p(o)都是已知的，我们将其视为常数。

（1)最大似然估计(Maximum Likelihood Estimation, MLE)

不需要先验p(s)

MLE 直接最大化似然函数 p(o∣s)

（求的不是概率，而是最大化概率下对应的参数值s)

频率学派使用MLE，班级里的学渣

（2）最大后验估计(Maximum A Posteriori Estimation, MAP)

通过使用：先验概率 p(s)和数据的似然函数 p(o∣s)

求的是最大化后验概率的参数p(s∣o)

即找到使得观测数据 o在给定参数 s 下出现概率最大的参数 s。（求的不是概率，而是最大化概率下对应的参数值s)

贝叶斯学派使用MAP，班级里的学霸（在MLE的基础上加上先验p(s),这里不说p(o)是因为它一般是已知的，当作常数）

这个先验p(s)就相当于是正则化，泛化能力更强了（考虑到了先验的指导）

如果不理解为什么p(s)相当于是损失函数中的正则化，可以看我博客：最大似然估计MLE和最大化后验MAP和贝叶斯估计-CSDN博客

（3）贝叶斯估计Bayesian Estimation

贝叶斯估计求的是参数的后验分布p(s∣o)

贝叶斯估计属于学神，他是最大后验估计的扩展,最大后验估计求的是参数s的值，而贝叶斯估计直接球的就是这个概率值p(s∣o)        

直接求出后验分布

先验很重要

泛化效果更好。

第四部分：朴素贝叶斯（朴素二字来自特征之间符合某种假设）

举个例子：

我们现在有以上这些数据，现在来了一个新人，已知的特征是：本土，非密接，年轻，接种疫苗，但是不知道到底是阴性还是阳性：

我们现在的目标就是求一下这两个的概率，谁大结果就是谁！

基于我们上面的贝叶斯公式，我们可以得到详细的计算公式：

在朴素贝叶斯假设中，条件独立性是核心假设之一。具体来说，朴素贝叶斯假设各个特征在给定类别（如阳性或阴性）的条件下是相互独立的，这意味着每个特征的发生概率仅依赖于类别标签，而不依赖于其他特征。

这一假设的好处是便于计算最终结果，简化计算，但是坏处就是牺牲了一定的准确性。

所以：

进而得到：

这两个的分母一样，因此我们比较分子就可以了

然后我们根据表中的数据计算得到：

第一个阳性的分子为：

(1/2)x(1/6)*(1/6)*(1/6)*(1/2)=1/864

第二个阴性的分子为：

(1/6)*(1/2)*(1)*(1/2)*(1/2)=1/48

由于第二个的大，所以归为阴性。

第五部分：朴素贝叶斯分类

（1）伯努利分布

（2）高斯朴素贝叶斯

第六部分：朴素贝叶斯代码实现

（1）第四部分朴素贝叶斯中的“阳性阴性”为例，探究单个朴素贝叶斯公式（这里以伯努利朴素贝叶斯为例）

①导包

#第一部分：导包
import numpy as np

②创建数据集

#第二部分：获取数据集
#X代表特征矩阵
X = [[1, 0, 0, 1],
     [0, 1, 0, 0],
     [1, 1, 0, 0],
     [0, 1, 2, 0],
     [1, 0, 0, 0],
     [1, 0, 0, 0],
     [1, 1, 2, 1],
     [0, 1, 1, 0],
     [1, 1, 1, 0],
     [1, 0, 2, 0],
     [1, 1, 0, 1],
     [1, 1, 0, 1]]
#代表标签
y = [0, 0, 1, 1, 0, 0, 1, 1, 1, 1, 0, 0]
#代表测试样本
t = [[0, 0, 0, 1]]

③使用伯努利朴素贝叶斯

#第三部分：使用朴素贝叶斯进行训练
#3.1伯努利朴素贝叶斯
from sklearn.naive_bayes import BernoulliNB
bnb = BernoulliNB()
bnb.fit(X, y)
print(bnb.predict_proba(t))

由于第一个比较大，所以分类为阴性。

④完整pycharm代码

#第一部分：导包
import numpy as np
#第二部分：获取数据集
#X代表特征矩阵
X = [[1, 0, 0, 1],
     [0, 1, 0, 0],
     [1, 1, 0, 0],
     [0, 1, 2, 0],
     [1, 0, 0, 0],
     [1, 0, 0, 0],
     [1, 1, 2, 1],
     [0, 1, 1, 0],
     [1, 1, 1, 0],
     [1, 0, 2, 0],
     [1, 1, 0, 1],
     [1, 1, 0, 1]]
#代表标签
y = [0, 0, 1, 1, 0, 0, 1, 1, 1, 1, 0, 0]
#代表测试样本
t = [[0, 0, 0, 1]]
#第三部分：使用朴素贝叶斯进行训练
#3.1伯努利朴素贝叶斯
from sklearn.naive_bayes import BernoulliNB
bnb = BernoulliNB()
bnb.fit(X, y)
print(bnb.predict_proba(t))

（2）对比5种贝叶斯公式的效果

我们使用鸢尾花数据集为例，他的数据特征是连续且多分类的：

①导包

#第一部分：导包
import numpy as np

②创建数据集

#第二部分：创建数据集
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target

③分割数据集

#第三部分：分割数据集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)

④使用朴素贝叶斯-伯努利朴素贝叶斯

#第四部分：使用朴素贝叶斯
from sklearn.naive_bayes import BernoulliNB
nb = BernoulliNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

可以看出来，效果非常不好，因为伯努利适用的是离散的数据，并且是二分类

⑤使用朴素贝叶斯-高斯朴素贝叶斯

#4.2高斯朴素贝叶斯
from sklearn.naive_bayes import GaussianNB
nb = GaussianNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

效果非常好，因为高斯朴素贝叶斯就适合用于连续型数据。

⑥使用朴素贝叶斯-CategoricalNB（类别型朴素贝叶斯）

#4.3使用朴素贝叶斯-CategoricalNB（类别型朴素贝叶斯）
from sklearn.naive_bayes import CategoricalNB
nb = CategoricalNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

⑦使用朴素贝叶斯-（多项式朴素贝叶斯）

#4.3使用朴素贝叶斯-（多项式朴素贝叶斯）
from sklearn.naive_bayes import MultinomialNB
nb = MultinomialNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

⑧使用朴素贝叶斯-ComplementNB（补集朴素贝叶斯）

#4.5使用朴素贝叶斯-ComplementNB（补集朴素贝叶斯）
from sklearn.naive_bayes import ComplementNB
nb = ComplementNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

⑨上述完整pycharm代码汇总

#第一部分：导包
import numpy as np
#第二部分：创建数据集
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target

#第三部分：分割数据集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
#第四部分：使用朴素贝叶斯
"""
#4.1伯努利朴素贝叶斯
from sklearn.naive_bayes import BernoulliNB
nb = BernoulliNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))
"""
"""
#4.2高斯朴素贝叶斯
from sklearn.naive_bayes import GaussianNB
nb = GaussianNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))
"""
'''
#4.3使用朴素贝叶斯-CategoricalNB（类别型朴素贝叶斯）
from sklearn.naive_bayes import CategoricalNB
nb = CategoricalNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

'''
"""
#4.4使用朴素贝叶斯-（多项式朴素贝叶斯）
from sklearn.naive_bayes import MultinomialNB
nb = MultinomialNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))
"""
#4.5使用朴素贝叶斯-ComplementNB（补集朴素贝叶斯）
from sklearn.naive_bayes import ComplementNB
nb = ComplementNB()
nb.fit(X_train, y_train)
print(nb.score(X_test, y_test))

第七部分：多项式朴素贝叶斯代码实现（多项式分类实现文本分类任务）

（1）导包

#第一部分：导包
import numpy as np

（2）获取数据集

#获取数据集
from sklearn.datasets import fetch_20newsgroups
news = fetch_20newsgroups(subset='all')
X = news.data
y = news.target

（3）划分数据集

#第三部分：分割数据集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)

（4）特征提取（因为这个里面全是文本数据，不是数字，所以要把文本提取他们的特征，才能进行处理）

#第四部分：特征提取（因为这个里面全是文本数据，不是数字，所以要把文本提取他们的特征，才能进行处理）
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(stop_words='english')#停用词，消除噪音的
vec.fit_transform(X)
X_train_vec = vec.transform(X_train)
X_test_vec = vec.transform(X_test)

（5）使用多项式朴素贝叶斯进行训练模型

#第五部分：
from sklearn.naive_bayes import MultinomialNB
nb = MultinomialNB()
nb.fit(X_train_vec, y_train)
print(nb.score(X_test_vec, y_test))

（6）详细输出训练信息

#第六部分：详细输出训练信息
y_predict = nb.predict(X_test_vec)
from sklearn.metrics import classification_report
print(classification_report(y_test, y_predict, target_names=news.target_names))

（7）完整pycharm代码汇总

#第一部分：导包
import numpy as np
#划分数据集
from sklearn.datasets import fetch_20newsgroups
news = fetch_20newsgroups(subset='all')
X = news.data
y = news.target
#第三部分：分割数据集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)
#第四部分：特征提取（因为这个里面全是文本数据，不是数字，所以要把文本提取他们的特征，才能进行处理）
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(stop_words='english')#停用词，消除噪音的
vec.fit_transform(X)
X_train_vec = vec.transform(X_train)
X_test_vec = vec.transform(X_test)
#第五部分：使用多项式朴素贝叶斯进行训练模型
from sklearn.naive_bayes import MultinomialNB
nb = MultinomialNB()
nb.fit(X_train_vec, y_train)
print(nb.score(X_test_vec, y_test))
#第六部分：详细输出训练信息
y_predict = nb.predict(X_test_vec)
from sklearn.metrics import classification_report
print(classification_report(y_test, y_predict, target_names=news.target_names))

第八部分：贝叶斯定理的优缺点以及适用范围

（1）优点

过程简单速度快；

对多分类问题一样有效

分布独立假设下效果好

贝叶斯思想光芒万丈，“先验”思想打开一扇大门

一般来说比逻辑回归要好。

（2）缺点

条件独立假设在现实中往往很难保证

只适用于简单比大小问题

如果个别类别概率为0，则预测失败（比如说预测一个第一次出现的数，它之前都没出现过，自然计算的结果都是0，出现没法比较的现象）（“平滑”/“拉普拉斯变换”等来解决这一问题）

条件概率和先验分布计算复杂度较高，高维计算困难

（3）适用场景

文本分类/垃圾文本过滤/情感判别

多分类实时预测

推荐系统

复杂问题建模

【AI Guide】AI面试攻略只用看这一篇就够了！力争做全网最全的AI面试攻略——机器学习（一）绪论
AI科研社
02-27 319
在说明机器学习的概念之前，我们首先需要知道何为“学习”，即学习的定义是什么。学习有着许多定义，在计算机程序领域内，学习可以定义为：如果一个针对任务T的计算机程序，用P衡量的性能根据经验E而自我完善，则称此计算机程序在从经验E中学习。因此，对于计算机程序而言，学习具有以下三个特征：某类任务T：Task、性能P：Performance和经验E：Experience or Examples。
贝叶斯机器学习（一）
mike112223的博客
02-19 1442
本系列主要是贝叶斯机器学习相关知识的学习笔记。 第一讲：概率论回顾，贝叶斯公式，共轭先验 “贝叶斯规则” 是来自于对于概率分布的一些基本操作。下面举一个简单的例子 例子 整个空间是Ω\OmegaΩ，AiA_iAi​ 是第i列（随便定义的），BiB_iBi​ 是第i行（同理，随便定义的） 在这个空间里分布着一些点。我们随机的且均匀的从这些点里取出一个点。 那么这个概率计算是一个简单的数数。 ...
人工智能 机器学习 贝叶斯分类
10-13
一、实验要求 在计算机上验证和测试用贝叶斯进行分类识别。 二、实验目的 1、掌握贝叶斯识别的原理 2、掌握贝叶斯如何对连续量特征进行分类 三、实验内容 实验步骤 1. 请完成对GaussianNB.py代码的阅读，对其代码进行注释，
贝叶斯统计机器学习ppt
01-25
贝叶斯统计机器学习的ppt课件
概率统计: 贝叶斯定理（Bayes’ Theorem）
宋发元
03-20 483
如果你对机器学习感兴趣，可以进一步研究朴素贝叶斯分类器，它是基于贝叶斯定理的一种高效文本分类算法。例如，如果某封邮件包含“免费中奖”，那么可以利用贝叶斯定理计算这封邮件是垃圾邮件的可能性。贝叶斯定理（Bayes’ Theorem）是一种计算条件概率的方法，它通过已有的先验信息来更新事件的概率。以下是一个基于贝叶斯定理的 Java 代码示例，该示例计算某人患病的概率，给定其测试结果为阳性。贝叶斯定理的核心思想是利用新的证据（B），更新我们对某个事件（A）发生概率的认识。
机器学习——贝叶斯定理
weixin_74731967的博客
05-14 3406
人对某一事件未来会发生的认知，大多取决于该事件或类似事件过去发生的频率。这就是贝叶斯定理的数学模型，它最早由数学家托马斯·贝叶斯提出。贝叶斯生活在18世纪，他是一位牧师。1763年，他发表了论文《论有关机遇问题的求解》，提出了一种解决问题的框架思路，即通过不断增加信息和经验，逐步逼近真相或理解未知。这种思想奠定了贝叶斯理论的基础。贝叶斯定理的过程可以归纳为：“过去经验”加上“新的证据”得到“修正后的判断”。它提供了一种将新观察到的证据和已有的经验结合起来进行推断的客观方法。
机器学习：贝叶斯学习
m0_72410588的博客
05-18 1025
本文介绍了贝叶斯学习的基本原理、常用方法以及应用场景。贝叶斯学习是一种比较常用的机器学习方法，它具有很多优点，例如可以解决过拟合问题、能够主动利用先验信息等。但是，它的计算复杂度较高，需要对概率统计理论有深入的理解。
机器学习——朴素贝叶斯算法
m0_63038557的博客
11-20 440
朴素贝叶斯算法是一种简单而高效的分类算法。其基本原理清晰，易于理解和实现，使其成为许多应用场景中的首选算法之一。朴素贝叶斯在小规模数据集上表现出色，尤其是在文本分类等任务中，它通常能够取得令人满意的结果。由于其对特征条件独立性的假设，朴素贝叶斯在高维数据上的计算效率较高，适用于包含大量特征的问题。在自然语言处理领域，朴素贝叶斯广泛用于文本分类任务。基于词袋模型，它能够有效地处理文本数据，被广泛应用于垃圾邮件过滤、情感分析等场景。
机器学习之贝叶斯定理
u010199356的博客
03-21 1279
贝叶斯定理 ​ 贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。 ​ 贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1763)曾提出计算条件概率的公式用来解决如下一类问题：假设H[1],H[2]…,H[n]互斥且构成一个完全事件，已知它们的概率P(H[i]),i=1,2,…,n,现观察到某事件A与H[1],H[...
从贝叶斯定理说开去
dawuafang
10-22 3135
从贝叶斯定理说开去 罗朝辉 (http://kesalin.github.io/) CC 许可，转载请署名并保留出处 简介 贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介： 所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章...
机器学习——贝叶斯分类
m0_74238225的博客
05-28 1028
然而，它也有一个明显的局限性，就是对特征条件独立的假设在实际问题中并不总是成立，因此在面对高维度、相关性较强的数据时，朴素贝叶斯分类器可能表现不佳。具体地，设特征向量为 X = (x1, x2, ..., xn)，类别集合为 C = {c1, c2, ..., ck}，我们的目标是计算在给定特征向量 X 的条件下，属于每个类别的概率 P(ci|X)，然后选择具有最大后验概率的类别作为样本的分类结果。基于上述假设，我们可以计算出每个类别的后验概率，并选择具有最大概率的类别作为样本的分类结果。
机器学习研究-从贝叶斯定理到HMM模型.pdf
11-10
概率图模型初步：从贝叶斯定理到HMM模型是机器学习研究中的一篇重要文献，该文献从贝叶斯定理开始，逐步介绍了概率图模型的基本概念和技术，包括贝叶斯网络、马尔科夫链和隐马尔科夫模型等。下面是该文献的详细知识...
机器学习-贝叶斯
hutao_ljj的博客
04-23 391
1. 基本概念 先验概率 事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(A),P(B)。 条件概率 一个事件发生后另一个事件发生的概率。一般的形式为P(A|B)表示B发生的条件下A发生的概率。 后验概率 事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，即执果求因。 西瓜举例： 先验概率，就是常识、...
机器学习之贝叶斯
weixin_73582856的博客
05-10 923
贝叶斯分析方法（Bayesian Analysis）是贝叶斯学习的基础，它提供了一种，这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。
机器学习--贝叶斯算法
最新发布
bj3281的博客
04-15 1085
假设现在有一个装了7块石头的罐子，其中3块是灰色的， 4块是黑色的。如果从罐子中随机取出一块石头，那么是灰色石头的可能性是多少？由于取石头有7种可能，其中3种为灰色，所以取出灰色石头的概率为3/7。那么取到黑色石头的概率又是多少呢？很显然，是4/7。我们使用P(gray)来表示取到灰色石头的概率，其概率值可以通过灰色石头数目除以总的石头数目来得到。如果这7块石头放在两个桶中，那么上述概率应该如何计算？要计算P(gray)或者P(black)，事先得知道石头所在桶的信息会不会改变结果？
机器学习 —— 朴素贝叶斯
热门推荐
DreamWendy的博客
11-29 2万+
​ 一、基于贝叶斯决策理论的分类方法 二、条件概率 三、朴素贝叶斯分类器 四、使用朴素贝叶斯进行文档分类 4.1准备数据：从文本中构建词向量 4.2 训练算法：从词向量计算概率 4.3 测试算法：根据现实情况修改分类器 4.4 准备数据：文档词袋模型 五、示例：使用朴素贝叶斯过滤垃圾邮件 5.1准备数据：切分文本 5.2 测试算法：使用朴素贝叶斯进行交叉验证 5.3 垃圾邮件分类完整代码 六、朴素贝叶斯实验总结
机器学习——贝叶斯算法
m0_74100344的博客
05-13 2240
贝叶斯公式的用途在于通过己知三个概率来推测第四个概率。它的内容是：在 B 出现的前提下，A 出现的概率等于 A 出现的前提下 B 出现的概率乘以 A 出现的概率再除以 B 出现的概率。通过联系 A 与 B，计算从一个事件发生的情况下另一事件发生的概率，即从结果上溯到源头（也即逆向概率）。总的来说，贝叶斯算法提供了一种基于概率的框架，可以有效地处理分类问题和概率估计问题。它的优点包括简单、易于实现，适用于各种数据类型，尤其在处理高维数据和大规模文本数据时表现出色。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

还不秃顶的计科生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值