机器学习实战笔记4(朴素贝叶斯)

最新推荐文章于 2024-08-14 22:32:50 发布
最新推荐文章于 2024-08-14 22:32:50 发布
阅读量9.7k 收藏 11
点赞数 4
分类专栏： 机器学习 机器学习实战笔记 文章标签： 朴素贝叶斯 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lu597203933/article/details/38445315
版权
本文介绍了朴素贝叶斯分类器的概念、公式推导和在文档分类中的应用，包括Python代码实现过滤网站恶意留言和垃圾邮件。朴素贝叶斯基于属性间条件独立的假设，通过计算各类别概率最大化进行决策。文章还讨论了处理概率为0和下溢出的问题，以及在词集和词袋模型中的应用。
摘要由CSDN通过智能技术生成

前面介绍的kNN和决策树都给出了“该数据实例属于哪一类”这类问题的明确答案，而有时候的分类并不能给出明确的答案，本节讲解使用概率论进行分类的方法。

1：简单概念描述

概念比较简单，这里我摘抄自百度百科，很容易理解。

朴素贝叶斯模型(NaiveBayesian classification))：

----

Vmap=arg max P( Vj | a1,a2...an)

Vj属于V集合

其中Vmap是给定一个example,得到的最可能的目标值.

其中a1...an是这个example里面的属性.

这里面,Vmap目标值,就是后面计算得出的概率最大的一个.所以用max来表示

----

贝叶斯公式应用到 P(Vj | a1,a2...an)中.

可得到Vmap= arg max P(a1,a2...an | Vj ) P( Vj ) / P (a1,a2...an)

又因为朴素贝叶斯分类器默认a1...an他们互相独立的.

所以P(a1,a2...an)对于结果没有用处

最低0.47元/天 解锁文章
小村长
关注
专栏目录
机器学习笔记 - 学习朴素贝叶斯概念及应用
学以致用 知行合一
12-19 945
贝叶斯分类算法是一大类分类算法的总称；贝叶斯分类算法以样本可能属于某类的概率来作为分类依据；朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种。 朴素的意思是条件概率独立性。朴素贝叶斯方法是一组监督学习算法，基于贝叶斯定理，并在给定类变量值的情况下，每对特征之间的条件独立性的“朴素”假设。尽管它们的假设显然过分简化，但朴素的贝叶斯分类器在许多实际情况下（在著名的文档分类和垃圾邮件过滤中）都表现良好。他们需要少量的训练数据来估计必要的参数。另一方面也是由于过于...
机器学习学习笔记——朴素贝叶斯
lyy0331的博客
05-06 171
朴素贝叶斯关键词贝叶斯公式朴素贝叶斯模型 关键词 分类算法； 生成方法->找出Y和X和联合分布P(X, Y)->P(Y|X)=P(X, Y)/P(X)得出 对应判别方法（决策树、KNN、逻辑回归、SVM等）->学习出Y=f(X) or P(Y|X) 先验概率+似然（数据）=后验概率，贝叶斯派假设先验概率分布的模型（正态分布、beta分布等） 贝叶斯公式 P(Yk∣X)=P(X∣Yk)P(Yk)∑kP(X∣Y=Yk)P(Yk). P(Y_k|X) = \frac{P(X|Y_k)P(Y_
机器学习实战之朴素贝叶斯
罗罗攀
06-10 318
在学习朴素贝叶斯分类模型之前，我们回顾一下之前学习的KNN和决策树，读者本人的总结：不同的机器学习方法有着不同的假设和理论进行支撑，而这些假设和理论在很大程度上体现了该算法的优缺点。 KNN：在样本空间中，相同的类型数据在空间呈聚集状态，也就是距离会靠近，基于这个假设，只需要对测试样本与训练样本进行距离计算，最近距离的样本的类别很大程度上就是测试样本的类别...
机器学习实战-朴素贝叶斯
weixin_39523628的博客
07-27 319
根据自己的理解，把书上的代码都遍历了一遍 又自己写了一遍，发现了一些错误，现在贴上来 这个写的第一个函数，要注意append和extend的用法的区别 在这里，因为item仅仅是一个值，一个元素，所以只能用append，不能用extend 具体二者的区别看python文档 这个函数没啥大的问题，但是要注意line列表的建立方式，我之前一直都没这么用过 还有index这个内建函数...
机器学习——朴素贝叶斯
最新发布
CXDNW的博客
08-14 1183
算法得出的结论，永远不是 100% 确定的，更多的是判断出了一种 “ 样本的标签更可能是某类的可能性 ”，而非一种 “ 确定 ”。决策树 使用的 是 叶子节点上 占比较多 的标签 所占的比例（接口 predict_proba 调用），逻辑回归 使用的 是 sigmoid函数 压缩后的 似然（接口 predict_proba 调用），而 SVM 使用的 是样本点到 决策边界的 距离（接口 decision_function 调用）。但这些指标的本质，都是一种 “类概率” 的表示，可以。
<机器学习实战>--朴素贝叶斯实战(二)
Silence的博客
10-15 2465
一 前言  上一篇文章介绍了朴素贝叶斯的基本原理, 现在就来实践一下吧, 阅读了部分<机器学习实战>上的代码, 自己也敲了一遍, 做了一下验证, 现在就在这里分享一下.   环境:   Ubuntu 16.04   Python 3.5.2  二 使用朴素贝叶斯进行文档分类2.1 准备数据: 从文本中构建词向量   加载数据''' 加载训练数据, postingList是所有的训练集, 每一
机器学习贝叶斯实战
yeopeq的博客
05-08 525
#导入数据集生成工具 from sklearn.datasets import make_blobs #导入贝努利贝叶斯模型 from sklearn.naive_bayes import BernoulliNB #导入模型拆分工具 from sklearn.model_selection import train_test_split import numpy as np #生成5类正态分布的样本 X, y = make_blobs(n_samples=500, centers=5, random_st.
机器学习自学笔记——朴素贝叶斯与极大似然估计
m0_61787307的博客
03-13 706
​朴素贝叶斯算法通俗理解，最大似然估计介绍。我们所处在的这个世界是充满概率的一个世界。甚至可以说，世界上所有事情的发生都是有一定概率的，并不存在绝对发生与绝对不发生。​ 比如，你同桌他高考考得分数比你高，他未来工作薪资比你高只是一个可能性事件，在大部分人的认知里，“他未来工作薪资比你高”这个是个大概率事件；但是在我的认知里，绝不是这么一回事。没准他去了他梦想中的天坑专业出来工作都找不到，而你去了一个就业前景好的专业，那么之前那个结论他就不成立。
机器学习实战一——朴素贝叶斯中文情感分类模型
热门推荐
何以解忧 唯有专注
04-02 1万+
简介： 考研复试顺利结束，目前正忙于毕业设计——《网络文本数据的爬取与数据分析》，如题，概括的说包括两项任务，一个是爬虫与数据采集，另外一个是进行数据分析。目前爬虫工作全部完成，爬取的内容是豆瓣的电影评论(23000条)，后文我会提供数据下载链接。而对于后者数据的分析，需要做的主要工作是对于评价文本进行情感的分类。也就是积极或者消极。对于其初步实现，初步计划是使用朴素贝叶斯、svm、cnn三种方法...
《机器学习实战》第四章学习笔记（朴素贝叶斯）
LZH_12345的博客
04-17 933
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率密度分布；然后基于此模型，对于给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。一、朴素贝叶斯1.1 基本方法朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯由此得名。具...
机器学习实战-贝叶斯
myhome908的博客
05-06 217
from numpy import * def loadDataSet(): postingList=[['my','dog','has','flea','problems','help','please'], ['maybe','not','take','him','to','dog','park','stupid'], ...
机器学习实战 -朴素贝叶斯
forever_bryant的博客
04-22 3200
贝叶斯分类算法是统计学的一种概率分类方法，朴素贝叶斯分类是贝叶斯分类中最简单的一种。所以称之为”朴素”，是因为贝叶斯分类只做最原始、最简单的假设：所有的特征之间是统计独立的。
机器学习实战之贝叶斯（一）
丝萝愿为乔木的博客
04-09 2123
1 算法概括 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。 贝叶斯公式： 这种形式可能对于分类问题不太明显，那么我们换种形式：，这样就一目了然了，我们的任务就是求出P（类别|特征）。如果对于一个有多个特征的数据集，那么贝叶斯的形式就要写成,在朴素贝叶斯中，我们假设各特征相互独
【机器学习实战-4章】贝叶斯
lynn_flame的博客
06-07 889
分类器有时会产生错误结果，这时可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值
4.机器学习实战之朴素贝叶斯
Oner.wv的专栏
05-15 7184
返回目录 上一篇：决策树 1.简单理论介绍 1.1 贝叶斯定理 了解贝叶斯定理之前，需要先了解下条件概率。P(A|B)表示在事件B已经发生的条件下事件A发生的概率： P(A|B)=P(AB)P(B)daf afdfd 假如我们已经知道了P(A|B)，但是现在我们想要求P(B|A)，也就是在事件A发生的条件下事件B发生的概率，这时贝叶斯...
机器学习实战4--朴素贝叶斯
chuhang_zhqr的博客
02-27 2746
分类器在进行分类的时候会给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。若p1>p2,那么属于类别1,反之属于类别2。 朴素贝叶斯属于贝叶斯决策理论的一部分：贝叶斯准则是计算条件概率的方法，若已知P(x|c),要求P(c|x)，则p(c|x)=p(x|c)p(c)/p(x)。 p(c1|x,y)表示给定某个由x，y表示的数据点，那么该数据点来自c1的概率是多少。利用贝叶斯准则求得p(x
[机器学习实战札记] 朴素贝叶斯
云水木石
03-27 527
《概率论》（当年我学习的课程为《概率论与数理统计》，涵盖了概率论与统计学）应该是每个理工科大学生都要学习的课程，不知道有多少同学和我一样，学得一头雾水。悲催的是，考研的时候又学习了一遍，依然不着门路，靠死记硬背过关。好在后面的学习和工作生涯中，再没有和它打过照面，直到最近开始接触机器学习。 《机器学习实战》第4章，开始介绍基于概率论的分类方法。其实《机器学习》这本书对贝叶斯决策论有比较详细的介绍...
【机器学习实战】 Bayes
欢迎来到无尾君的小窝
05-25 715
贝叶斯公式： P(H|D)=P(D|H)P(H)P(D)P(H|D)=P(D|H)P(H)P(D)P(H|D) = \frac{P(D|H)P(H)}{P(D)} 先验概率：P(H)，在得到新数据前某一假设的概率 后验概率：P(H|D)，在看到新数据后，该假设的概率 似然度：P(D|H)，在该假设下得到这一数据的概率 标准化常量：P(D)，在任何假设下得到这一数据的概率 在贝叶斯问题中...
机器学习算法详解：从朴素贝叶斯到GDBT
"北京邮电大学学生整理的机器学习算法笔记，包括朴素贝叶斯、SVM、决策树等多个常用算法的概述与解析。" 在机器学习领域，掌握各种算法的思想是至关重要的。这篇笔记详细梳理了多个常见的机器学习算法，帮助读者...
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值