Naive Bayes朴素贝叶斯法

最新推荐文章于 2022-06-07 11:22:15 发布
最新推荐文章于 2022-06-07 11:22:15 发布
阅读量259 收藏
点赞数
分类专栏： 数学 文章标签： 统计学习方法 朴素贝叶斯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littlehaes/article/details/79797008
版权

Welcome To My Blog
朴素贝叶斯方法基于贝叶斯公式,之所以朴素(Naive)是因为它有一个较强的假设,让自己包含的条件概率数量大大减少,有助于模型的训练与预测,这个假设是:条件独立
1.png
注意:朴素贝叶斯估计和贝叶斯估计是不同的概念,下文会提到贝叶斯估计

Naive Bayes法的训练与分类

朴素贝叶斯法的基本思路:

  • 对于给定的训练集,基于特征之间条件独立的假设去学习条件概率分布P(X=x|Y=c_k),先验概率分布P(Y=c_k)
  • 对于测试集(或新数据)中的输入x,基于训练得到的模型(上述概率分布),利用贝叶斯定理求出使后验概率最大的输出y
    具体点就是:
    2.png
    后验概率计算公式:
    4.png
    朴素贝叶斯分类器:
    5.png

为什么需要假设条件独立

3.png

后验概率最大化的含义

朴素贝叶斯分类中,后验概率最大化等价于期望风险最小化
6.png
进一步有:
7.png

朴素贝叶斯法的参数估计

极大似然估计

极大似然估计属于频率派的想法

先验概率估计

8.png

条件概率估计

9.png

算法流程

Naive Bayes algorithm
10.png

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况,这时会影响到后验概率的计算结果,使分类产生偏差.
可以使用贝叶斯估计解决这一问题
11.png
参数及可行性说明
12.png

参考:
李航,统计学习方法

littlehaes
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据挖掘算法之 Naive Bayes
Xcy的博客
10-22 955
一、什么是Naive Bayes？        在2分类的情况下：使用类别已知的初始对象（训练数据）构造一一个划分器，使得获得叫大分值的对象同类别1关联而获得较小分值的对象同类别0关联。划分器对新对象给出分值，将该对象的得分同某个预定的“分类阈值”进行比较即可实现分类，得分大于阈值就分到类别1，小于阈值就分到类别0。 据此扩充到多分类。 二、Naive Bayes 算法思想。     朴素
Bayes公式解释
新博客：https://aping-dev.com/
07-24 497
参考 杨淑莹. 图像模式识别VC++技术实现[M].
初探贝叶斯（Bayes）公式
相信相信的力量
09-21 1021
引例贝叶斯公式是考虑某事件已经发生，要考察引发该事件的各种原因的可能性大小。贝叶斯公式是决策中具有重要作用的公式公式
《统计学习方法》（李航著）读书笔记 第四章 朴素贝叶斯法
weixin_43826681的博客
10-18 237
相关视频： 朴素贝叶斯分类器 (Naive Bayes Classifier) 目录第四章 朴素贝叶斯法4.1 朴素贝叶斯法的学习与分类4.2 朴素贝叶斯法的参数估计 第四章 朴素贝叶斯法 朴素贝叶斯（naive Bayes）法：基于贝叶斯定理与特征条件独立假设的分类方法 假设：特征条件独立 学习：输入/输出的联合概率分布 输入：x 输出：利用贝叶斯定理求出后验概率最大的输出y 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 朴素贝叶斯法：生成模型 条件独立假设使朴素贝叶斯法变得简单，但有时会
naive bayes注意的一个点
how many roads a model must walk down, before they call him a service
07-31 328
bayes公式如上 bayes分类器的本质实际是对不好直接计算，转化为与的逆向条件概率，其中有一个重要的假设B中每个元素条件独立，这样，就可以讲的联合分布变成一个个单独的条件分布。对于给定的traindata，所有的，都是可以统计出来的，P(B)则是一个常量，不起作用。 当traindata训练好之后，有一个问题。就是先验概率是否满足客观规律呢？？？traindata中的是不是和实际生活中...
Hadoop mapreduce 实现NaiveBayes朴素贝叶斯
01-28
本主题将深入探讨如何使用 Hadoop MapReduce 实现 NaiveBayes 朴素贝叶斯算法，这是一种经典的概率分类模型，常用于文本分类、垃圾邮件过滤等领域。 NaiveBayes 朴素贝叶斯算法基于贝叶斯定理，其“朴素”在于假设...
NaiveBayes朴素贝叶斯用于文章类型分类
11-18
压缩包中的“NaiveBayes”文件可能包含了具体的C#源代码实现，可以进一步研究其数据结构、函数实现和类设计，加深对朴素贝叶斯算法的理解，并将其应用到实际项目中。如果需要，可以结合其他文本处理库如Stanford.NLP...
NaiveBayes朴素贝叶斯算法总结
01-22
朴素贝叶斯（Naive Bayes）是一种基于概率理论的分类算法，其名称中的“朴素”来源于它对特征之间相互独立的假设。该算法是贝叶斯定理的一种简化应用，它在机器学习领域被广泛用于文本分类、垃圾邮件过滤、情感分析...
pusu_carpfn_naivebayes_朴素贝叶斯_
09-30
朴素贝叶斯是一种广泛应用的机器学习算法，尤其在文本分类、垃圾邮件过滤等领域表现出色。它的理论基础源于概率论中的贝叶斯定理，而“朴素”一词则源自对特征之间相互独立的假设，这一假设简化了计算过程，使得算法...
beiyesi.rar_beiyesi _naive bayes_朴素贝叶斯
09-23
朴素贝叶斯（Naive Bayes）是一种基于概率的分类算法，它的理论基础是贝叶斯定理。在机器学习领域，朴素贝叶斯因其简单高效而被广泛应用，尤其是在文本分类、垃圾邮件过滤等方面。本资源是针对朴素贝叶斯算法的一个...
【数学基础】参数估计之贝叶斯估计
qq_32742009的博客
08-07 5万+
从统计推断讲起 统计推断是根据样本信息对总体分布或总体的特征数进行推断，事实上，这经典学派对统计推断的规定，这里的统计推断使用到两种信息：总体信息和样本信息；而贝叶斯学派认为，除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。下面我们先把是那种信息加以说明。 总体信息：总体信息即总体分布或总体所属分布族提供的信息。譬如，若已知“总体是正态分布”等等 样本信息：即所抽取的样本的所有...
04 朴素贝叶斯（Naive Bayes）
zhao_crystal的博客
11-13 1621
目录 1. 朴素贝叶斯概率模型 2. 高斯朴素贝叶斯 3. 多项式分布朴素贝叶斯 朴素贝叶斯分类器（Naive Bayes classifier），在机器学习中是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。 朴素贝叶斯的假设： 一个特征出现的概率，与其它特征（条件）独立（特征独立性）（也可以认为是：对于给定分类的条件下，特征独立） 每个特征同等重要（特征均衡性）。 1. 朴素贝叶斯概率模型 理论上，概率模型分类器是一个条件概率模型。 独立的类别变量C有若干
深入理解朴素贝叶斯（Naive Bayes）
热门推荐
li8zi8fa的博客
07-27 9万+
朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。该算法虽然简单，但是由于笔者不常用，总是看过即忘，这是写这篇博文的初衷。当然，更大的动力来在于跟大家交流，有论述不妥的地方欢迎指正。
算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)
weixin_34248849的博客
09-17 3637
0、写在前面的话       我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。       一直想写关于算法的博文，也曾写过零散的两篇，但也许是相比于工程性文章来说太小众，并没有引起大家的兴趣。最近面临毕业找工作，为了能给自己增加筹码，决定再次复习算法方面的知识，我决...
贝叶斯算法总结
NeilGY的博客
02-25 2223
1. 朴素贝叶斯是什么   依据《统计学方法》上介绍： 朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 xx ，利用贝叶斯定理求出后验概率最大的输出 yy 。   可能读完上面这段话仍旧没办法理解朴素贝叶斯法到底是什么，又是怎样进行分类的。下面我尽...
2.朴素贝叶斯Naive Bayes
tanyanzimo的博客
07-27 464
1.思想简介和实例 http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html 2.适用情况和评价 朴素贝叶斯分类器（NBC）基于一个简单的假定：给定目标值时属性之间相互条件独立。 所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法
朴素贝叶斯（naive bayes）原理小结
小白的专栏
01-27 1049
朴素贝叶斯原理小结1. 支持向量回归（SVR）分类算法2. 模型评价完整代码地址参考 本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~ 1. 支持向量回归（SVR） 分类算法 2. 模型评价 SVM系列至此就介绍完了，这里对该模型做一个评价总结。评价内容摘自刘建平老师的支持向量机原理(五)线性支持回归： SVM算法是一个很优秀的算法，在集成学习和神经网络之类的算法没有表现出优越性能前，SVM基本
朴素贝叶斯（Naive Bayes model）
年少的勇气已经用完，剩下的就是三思而后行
06-07 1万+
朴素贝叶斯是一种基于贝叶斯定理和特征条件独立假设的分类算法。简单而言，对于给定的训练数据，朴素贝叶斯先基于特征条件独立假设学习输入和输出的联合概率分布，然后基于此分布对于新的实例，利用贝叶斯定理计算出最大的后验概率。朴素贝叶斯不会直接学习输入输出的联合概率分布，而是通过学习类的先验概率 和类条件概率 来完成。所谓朴素贝叶斯中朴素的含义，即特征条件独立假设，条件独立假设就是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使得朴素贝叶斯的学习成为可能。朴素贝叶斯算法具体步骤如下。首先计算类先验概率：类先
【机器学习】贝叶斯参数估计法
ACM_hades的博客
06-17 3931
一、贝叶斯参数估计 前导篇：【机器学习】最大似然估计与最大后验估计 这里先回顾一下最大后验估计法： 最大后验估计法，通过最大化参数θθθ的后验分布来求出估计参数θ^\hat{θ}θ^ :θ^=argmax⁡θ⁡P(θ∣x)=argmax⁡θ⁡P(x∣θ)∗P(θ)\hat{θ}=arg\max_θ⁡P(θ|x)=arg\max_θ⁡P(x|θ)*P(θ)θ^=argθmax​⁡P(θ∣x...
解析一下这段代码# KNN Classifier K近邻算法 Knn = KNeighborsClassifier() # Logistic Regression Classifier 逻辑回归 Lr = LogisticRegression() # Random Forest Classifier 随机森林 Rf = RandomForestClassifier() # SVM Classifier 支持向量机 Svm = SGDClassifier() # Naive Bayes 朴素贝叶斯 Nb = MultinomialNB()
最新发布
06-08
Naive Bayes 是朴素贝叶斯分类器，它是一种基于贝叶斯定理的分类方法，假设特征之间相互独立，然后根据贝叶斯定理计算后验概率，最终进行分类。MultinomialNB() 是 scikit-learn 库中实现朴素贝叶斯分类器的函数，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值