朴素贝叶斯模型Naive Bayes推导过程

最新推荐文章于 2022-12-08 20:08:56 发布
最新推荐文章于 2022-12-08 20:08:56 发布
阅读量225 收藏
点赞数 1
分类专栏： 备忘笔记 文章标签： 朴素贝叶斯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38232171/article/details/103608964
版权

从贝叶斯模型的训练到预测过程，手写推导计算公式，主要记录自用，也欢迎参考交流

训练过程：

预测过程：

上了年纪也要写代码
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习之朴素贝叶斯分类器原理详解、公式推导（手推）、面试问题、简单实例（python实现，sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-07 1万+
主要内容分为理论推导和代码实现以及面试宝典三个部分。 理论推导主要是贝叶斯的推导以及朴素贝叶斯计算实例。 代码实现包括手动实现朴素贝叶斯和sklearn调用，实例有3个，分别对应离散型诗句和连续型数据两种情况。 面试宝典是一部分《机器学习》中的课后习题和一些面试题。
机器学习理论之：（2）朴素贝叶斯详细解读、公式推导和实例演练
qq_42902997的博客
03-13 2319
文章目录回顾贝叶斯公式贝叶斯公式的实例朴素贝叶斯分类器分类器的任务扔掉分母TTT 的组成朴素的贝叶斯为何朴素整理一下：问题具体实例实例分析与介绍求算所有的条件概率得到分类概率概率平滑ϵ\epsilonϵ 代替 0拉普拉斯 / 加数平滑缺失值朴素贝叶斯实例总结朴素贝叶斯为什么有效朴素贝叶斯的优势朴素贝叶斯的缺点 回顾贝叶斯公式 P(H∣x)=P(x∣H)P(H)P(x)P(H|x) = \frac{P(x|H)P(H)}{P(x)}P(H∣x)=P(x)P(x∣H)P(H)​ 这里的 HHH 可以认为是在分
朴素贝叶斯详细推导理解
ifhuke的博客
09-13 1234
朴素贝叶斯公式推导
朴素贝叶斯分类模型（一）
Stay Focused And Work Hard !!!
01-28 1万+
目录 前言 一、简述贝叶斯定理 二、贝叶斯定理的推导 三、贝叶斯定理的例子说明 四、朴素贝叶斯分类器 总结 前言 什么是分类算法 通俗地讲分类算法就是把大量已知特征及类别的样本对象输入计算机，让计算机根据这些已知的类别与特征归纳出类别与特征之间的规律（准确地说应该是分类模型），最终目的是运用得到的分类模型对新输入的对象（该对象已知特征，类别是不知道的）判断出该对象所属...
朴素贝叶斯分类器训练过程分析
edmond999的专栏
11-02 3716
转载来源，系列阅读:http://pocore.com/blog/article_495.html 原文链接 这是一个识别论坛不当言论的案例 步骤一:获得这个问题的全部特征(标称型) 所谓标称型数据:是可以化成0 1表示的数据 用于案例训练的数据如下: dataSet: [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 's
python朴素贝叶斯（Naive Bayes）算法，机器算法
最新发布
05-22
朴素贝叶斯（Naive Bayes）算法是一种基于贝叶斯定理的简单概率分类器。它假设特征之间相互独立，因此称为“朴素”。尽管这个假设在实际应用中往往不成立，但朴素贝叶斯在许多情况下仍然表现出很好的性能，特别是在...
beiyesi.rar_beiyesi _naive bayes_朴素贝叶斯
09-23
朴素贝叶斯（Naive Bayes）是一种基于概率的分类算法，它的理论基础是贝叶斯定理。在机器学习领域，朴素贝叶斯因其简单高效而被广泛应用，尤其是在文本分类、垃圾邮件过滤等方面。本资源是针对朴素贝叶斯算法的一个...
NaiveBayesTest_贝叶斯分类_fisheriris_naivebayes_朴素贝叶斯方法_
10-03
在这个具体的案例中，由于Fisher's Iris数据集的类别是离散的，所以使用的是多项式朴素贝叶斯模型，也称为分类朴素贝叶斯（Categorical Naive Bayes）。在MATLAB中，`fitcnb`函数默认处理离散特征，无需进一步处理。...
Naive Bayes_python_朴素贝叶斯_
10-03
`sklearn`库中的`naive_bayes`模块提供了多种朴素贝叶斯分类器，包括高斯朴素贝叶斯（GaussianNB）、多项式朴素贝叶斯（MultinomialNB）和伯努利朴素贝叶斯（BernoulliNB）。这些分类器适用于不同类型的数据，如连续...
pusu_carpfn_naivebayes_朴素贝叶斯_
09-30
它的理论基础源于概率论中的贝叶斯定理，而“朴素”一词则源自对特征之间相互独立的假设，这一假设简化了计算过程，使得算法实现起来相对简单。 贝叶斯定理是概率论中的一个重要概念，它描述了在已知一些事件发生的...
朴素贝叶斯模型的训练(wdbc数据集)
eyes++的博客
12-08 1457
训练代码如下，我在写的过程中为了让代码逻辑更清晰点，所以损失了一些性能；虽然是多次测试，但测试集并没有随机选取。反正是作业，糊弄过去就行。
学习朴素贝叶斯算法的5个简单步骤
DataCastle
12-19 9672
  贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。 而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。 本文将通过6个步骤带领你学习朴素贝叶斯算法。   Step1 什么是朴素贝叶斯算法？ 朴素贝叶斯算法是一种基于贝叶斯定理的分类技术，假设在预测变量之间具有独立性。 给定一个水果，如果水果是黄色的，圆形的，直径约30厘米，则可以认为它...
朴素贝叶斯（Naive Bayes）详解
热门推荐
weixin_60737527的博客
07-15 2万+
贝叶斯决策论、朴素贝叶斯原理与算法实现、具体应用。
Naive Bayes笔记
GatsbyNewton
10-09 1088
1.贝叶斯定理 表示事件B发生的情况下，事件A发生的概率。其基本求解公式： 对于很容易直接推导出，但对于更加关心的，则很难直接推导。但是借助贝叶斯公式就很容易求解： 2.算法描述 下面用一个例子来描述Naive Bayes算法的过程。假设这里有一张最近统计的病例表，如下： 症状 职业
朴素贝叶斯的参数估计的推导过程
qq_36095192的博客
10-03 3087
  设输入空间χ\chiχ ⊆\subseteq⊆ RnR^{n}Rn为n维向量的集合，输出空间为类标记集合γ\gammaγ={c1c_{1}c1​,c2c_{2}c2​,…ckc_{k}ck​,}，输入为特征向量x∈\in∈χ\chiχ ,输出为类标记y∈\in∈γ\gammaγ。X是定义在输入空间χ\chiχ 上的随机变量，X是定义在输出空间γ\gammaγ上的随机变量。P(X,Y)是X和Y的...
朴素贝叶斯以及三种常见模型推导
Viking的博客
12-26 3503
朴素贝叶斯 在机器学习中，朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。 朴素贝叶斯算法Naive Bayes定义中有两个关键定义:特征之间强假设独立和贝叶斯定理.这两个定义就是朴素贝叶斯的关键.接下来先了解一下这两个定义. 贝叶斯定理 贝叶斯定义是概率论中的一个定理,它跟随机变量的条件概率以及边缘概率分布有关. 通常，事件A在事件B（发生）的条件...
【李航】统计学习方法--4. 朴素贝叶斯法（详细推导）
顾道长生的知识库
07-21 708
朴素贝叶斯法的学习与分类 贝叶斯定理 贝叶斯思维 条件概率 ​P(X=x∣Y=y)=P(X=x,Y=y)P(Y=y)P(X=x \mid Y=y)=\frac{P(X=x, Y=y)}{P(Y=y)}P(X=x∣Y=y)=P(Y=y)P(X=x,Y=y)​ 贝叶斯定理 已知： 存在 KKK 类 c1,c2,⋯ ,cKc_{1}, c_{2}, \cdots, c_{K}c1​,c2​,⋯,cK​ , 给定一个新的实例 x=(x(1),x(2),⋯ ,x(n))x=\left(x^.
朴素贝叶斯流程梳理
wang2011210219的博客
09-13 1662
以下内容主要来自CS229课程的讲义，放上链接http://cs229.stanford.edu/syllabus.html 由二分类问题到生成模型的训练内容 我们基于二分类问题进行讨论，\(y\)的取值为\({0, 1}\)。 先提一下判别模型和生成模型的概念。在使用一个模型对一条新数据进行预测的过程实际是求解\(p(y=0|x)\)和\(p(y=1|x)\)，然后比大小的过程。想要求得\...
朴素贝叶斯算法 推导
weixin_30877493的博客
07-12 82
出自：https://www.cnblogs.com/liuwu265/p/4685361.html 朴素贝叶斯算法主要用来解决分类问题，比如通常的二分类，多分类。 1、数学知识： 贝叶斯定理： 特征条件独立： 1、朴素贝叶斯 输入空间： 输出空间：y={C1，C2，…,CK}。 训练集：T={(x1,y1),(x2,y2),…,(xN,yN)}。 对于每个实例，其P(X...
朴素贝叶斯定理的详细推导过程，给一个计算案例
04-03
朴素贝叶斯定理是一种基于贝叶斯定理的分类算法，其基本假设是特征之间相互独立。其推导过程如下： 假设有 $n$ 个样本，每个样本都有 $m$ 个特征，特征向量为 $\boldsymbol{x} = (x_1, x_2, ..., x_m)$，每个样本都属于 $k$ 个类别中的一个，类别向量为 $\boldsymbol{y} = (y_1, y_2, ..., y_k)$。根据贝叶斯定理，我们可以得到： $$P(\boldsymbol{y}|\boldsymbol{x}) = \frac{P(\boldsymbol{x}|\boldsymbol{y})P(\boldsymbol{y})}{P(\boldsymbol{x})}$$ 其中，$P(\boldsymbol{x}|\boldsymbol{y})$ 表示在已知类别 $\boldsymbol{y}$ 的情况下，特征向量 $\boldsymbol{x}$ 出现的概率；$P(\boldsymbol{y})$ 表示类别 $\boldsymbol{y}$ 出现的概率；$P(\boldsymbol{x})$ 表示特征向量 $\boldsymbol{x}$ 出现的概率。由于 $P(\boldsymbol{x})$ 是一个常数，我们可以忽略它，得到： $$P(\boldsymbol{y}|\boldsymbol{x}) \propto P(\boldsymbol{x}|\boldsymbol{y})P(\boldsymbol{y})$$ 朴素贝叶斯算法的基本假设是，特征之间相互独立，即： $$P(\boldsymbol{x}|\boldsymbol{y}) = \prod_{i=1}^m P(x_i|\boldsymbol{y})$$ 将其带入上式，得到： $$P(\boldsymbol{y}|\boldsymbol{x}) \propto P(\boldsymbol{y}) \prod_{i=1}^m P(x_i|\boldsymbol{y})$$ 这个式子就是朴素贝叶斯定理。为了进行分类，我们需要计算每个类别的后验概率 $P(\boldsymbol{y}|\boldsymbol{x})$，并选择具有最大概率的类别作为预测结果。具体地，我们需要计算以下两个概率： 1. 先验概率 $P(\boldsymbol{y})$，即每个类别出现的概率。 2. 条件概率 $P(x_i|\boldsymbol{y})$，即在已知类别 $\boldsymbol{y}$ 的情况下，第 $i$ 个特征 $x_i$ 出现的概率。 这些概率可以通过统计训练数据集中的频率来估计。具体地，对于每个类别，我们可以计算其出现的频率，即： $$P(\boldsymbol{y}) = \frac{\text{number of samples in } \boldsymbol{y}}{\text{total number of samples}}$$ 对于每个特征，我们可以计算在每个类别下该特征出现的频率，即： $$P(x_i|\boldsymbol{y}) = \frac{\text{number of samples in } \boldsymbol{y} \text{ with } x_i}{\text{number of samples in } \boldsymbol{y}}$$ 这些概率可以用于计算后验概率 $P(\boldsymbol{y}|\boldsymbol{x})$，从而进行分类。 下面给一个朴素贝叶斯分类的计算案例。假设有以下数据集： | 编号 | 颜色 | 直径 | 类别 | | --- | --- | --- | --- | | 1 | 红色 | 3cm | 苹果 | | 2 | 红色 | 4cm | 苹果 | | 3 | 红色 | 5cm | 橘子 | | 4 | 黄色 | 4cm | 橘子 | | 5 | 黄色 | 5cm | 柠檬 | 现在有一个新的水果，颜色为红色，直径为4.5cm，问它是什么水果。 首先需要计算每个类别的先验概率： $$P(\text{苹果}) = \frac{2}{5} = 0.4$$ $$P(\text{橘子}) = \frac{2}{5} = 0.4$$ $$P(\text{柠檬}) = \frac{1}{5} = 0.2$$ 然后需要计算每个特征在各个类别下的条件概率： $$P(\text{红色}|\text{苹果}) = \frac{2}{2} = 1$$ $$P(\text{红色}|\text{橘子}) = \frac{1}{2} = 0.5$$ $$P(\text{红色}|\text{柠檬}) = 0$$ $$P(\text{4.5cm}|\text{苹果}) = 0$$ $$P(\text{4.5cm}|\text{橘子}) = \frac{1}{2} = 0.5$$ $$P(\text{4.5cm}|\text{柠檬}) = \frac{1}{1} = 1$$ 由于特征之间相互独立，我们可以将它们的条件概率相乘，从而得到每个类别的后验概率： $$P(\text{苹果}|\text{红色},\text{4.5cm}) \propto P(\text{苹果})P(\text{红色}|\text{苹果})P(\text{4.5cm}|\text{苹果}) = 0$$ $$P(\text{橘子}|\text{红色},\text{4.5cm}) \propto P(\text{橘子})P(\text{红色}|\text{橘子})P(\text{4.5cm}|\text{橘子}) = 0.2$$ $$P(\text{柠檬}|\text{红色},\text{4.5cm}) \propto P(\text{柠檬})P(\text{红色}|\text{柠檬})P(\text{4.5cm}|\text{柠檬}) = 0.2$$ 因此，我们可以预测这个水果是橘子或柠檬，由于它更接近柠檬，因此最终的预测结果是柠檬。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值