机器学习之朴素贝叶斯学习笔记

最新推荐文章于 2022-05-15 22:46:50 发布
最新推荐文章于 2022-05-15 22:46:50 发布
阅读量702 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sophiezjz/article/details/80280862
版权
本文介绍了朴素贝叶斯法的理论知识，包括先验概率、条件概率、条件独立假设和后验概率最大化的概念。讲解了参数估计的极大似然估计与贝叶斯估计方法，并阐述了算法在实际应用中的优缺点，如在文本分类和决策分析中的作用。
摘要由CSDN通过智能技术生成

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

一、朴素贝叶斯法理论知识

1.    朴素贝叶斯法的学习与分类

1.1基本方法：

①先验概率分布   

②条件概率分布   

③条件独立性假设

 

条件独立假设是说用于分类的特征在类确定的条件下都是条件独立的。（这能使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率）

④联合概率分布     

⑤后验概率

   

最低0.47元/天 解锁文章
小猫奇点
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记 - 学习朴素贝叶斯概念及应用
学以致用 知行合一
12-19 934
贝叶斯分类算法是一大类分类算法的总称；贝叶斯分类算法以样本可能属于某类的概率来作为分类依据；朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种。 朴素的意思是条件概率独立性。朴素贝叶斯方法是一组监督学习算法，基于贝叶斯定理，并在给定类变量值的情况下，每对特征之间的条件独立性的“朴素”假设。尽管它们的假设显然过分简化，但朴素的贝叶斯分类器在许多实际情况下（在著名的文档分类和垃圾邮件过滤中）都表现良好。他们需要少量的训练数据来估计必要的参数。另一方面也是由于过于...
机器学习笔记之朴素贝叶斯
城南花开的专栏
04-15 599
朴素贝叶斯为什么叫朴素贝叶斯？
深度学习基础----贝叶斯概率＋极大似然＋损失函数＋熵＋梯度＋反向传播：更新参数过程连贯地理解
weiwei935707936的博客
11-29 1510
一.目的 更新参数, 以使模型优化 二.方法 BP算法: 1.分为向前传播 2.反向传播 3.参数更新 三.具体过程 1.向前传播: 计算每个神经元的输入和输出: 2.反向传播: 计算每个神经元的delta: 3.更新参数:利用向前传播存储的a, z计算每个神经元的delta 4.训练: 即多次更新参数, 直至收敛 ...
贝叶斯决策及效用函数
SkyfromGD的博客
06-09 2760
1.1贝叶斯决策的基本情况： 贝叶斯决策主要是决策，其理论基础和模型基础是全概率公式和贝叶斯公式。(具体可参考概率论课程的课本) 1.2 贝叶斯公式在贝叶斯决策中所起的作用： (1)如果试验E有两个相关的试验E1，E2复合而成，E1有若干种可能的结果，E2在E1的基础上也有若干种可能的结果，如果已知和E2的结果有关某事件发生了，求和试验E1的结果有关事件的概率，可以用贝叶斯公式．试验E1的几种可能的结果就构成了完备事件组(贝叶斯决策中的重要基础条件)。 (2)如果把样本空间的一个划分A1, A2, …,
机器学习损失函数总结——SVM、朴素贝叶斯、HMM、AdaBoost、EM
m0_38022672的博客
01-09 2241
损失函数总结(适用算法) 1. 对数损失函数 （朴素贝叶斯，EM，HMM） L(Y , P(Y | X)) = -log P(Y | X) 2. 平方损失函数（最小二乘法） L(y , f(x)) = 〖(y – f(x))〗^2 3. 指数损失函数（AdaBoost） L(y , f(x)) = exp[-yf(x)] 4. 合页损失函数（svm） L(y(wx+b)) = [1-y(wx+b)...
机器学习笔记26——朴素贝叶斯法
weixin_45666566的博客
09-06 671
朴素贝叶斯前言1、概述2、原理3、算法4、朴素贝叶斯种类4.1高斯朴素贝叶斯(GaussianNB)4.2 多项式朴素贝叶斯(MultinomialNB)小结 前言 \quad \quad朴素贝叶斯算法是解决分类问题的监督学习算法，，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。 1、概述 \q
机器学习（二）——贝叶斯分类器
LongXinKou的博客
03-17 4859
文章目录1. 贝叶斯决策论1.1 贝叶斯判定准则 1. 贝叶斯决策论 核心： 将最小化分类错误率转换为最大化先验概率和类条件概率（似然）的乘积。 1.1 贝叶斯判定准则 （1）期望损失R(ci∣x)R(c_i|x)R(ci​∣x) 假设有N种可能的类别标记，即γ={c1,c2,⋯ ,cN}\gamma=\{c_1,c_2,\cdots,c_N \}γ={c1​,c2​,⋯,cN​}。λij\lambda_{ij}λij​是将真实标记为cjc_jcj​的样本误分类为cic_ici​所产生的损失。基于后验概率P
机器学习sklearn-朴素贝叶斯
kongqing23的博客
01-25 2634
目录 概述 sklearn中的朴素贝叶斯 高斯朴素贝叶斯 概述 算法得出的结论，永远不是100%确定的，更多的是判断出了一种“样本的标签更可能是某类的可能 性”，而非一种“确定”。 我们通过某些规定，比如说，在决策树的叶子节点上占比较多的标签，就是叶子节点上所有 样本的标签，来强行让算法为我们返回一个固定结果。但许多时候，我们也希望能够理解算法判断出的可能性本身。 每种算法使用不同的指标来衡量这种可能性。比如说，决策树使用的就是叶子节点上占比较多的标签所占的比例（接口pr.
机器学习 - 分类 朴素贝叶斯 Gaussian（学习笔记）
m0_65392155的博客
12-26 559
贝叶斯要解决的是逆向概率的问题 现实世界本身就是不确定的，人类的观察能力是有局限性的。我们日常所观察到的只是事物表面上的结果，因此需要提供一个猜测。 正向概率：假设袋子里有N个白球，M个黑球，伸手进去一摸，摸出黑球的概率是多大？M/(N+M) 逆向概率：如果事先不知道袋子里黑白球比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么可以就此对袋子里面的黑白球的比例作出什么样的推测？ P(A|B) = P(B|A) * P(A) / P(B) ...
周志华《Machine Learning》学习笔记（8）--贝叶斯分类器
VAY-长跑
03-26 6274
上篇主要介绍和讨论了支持向量机。从最初的分类函数，通过最大化分类间隔，max(1/||w||)，min(1/2||w||^2)，凸二次规划，朗格朗日函数，对偶问题，一直到最后的SMO算法求解，都为寻找一个最优解。接着引入核函数将低维空间映射到高维特征空间，解决了非线性可分的情形。最后介绍了软间隔支持向量机，解决了outlier挤歪超平面的问题。本篇将讨论一个经典的统计学习算法–贝叶斯分类器。
朴素贝叶斯
Matrix-yang的博客
10-19 237
朴素贝叶斯法是典型的生成学习方法.生成方法由训练数据学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y | X).具体来说， 利用训练数据学习P(X[Y)和P(Y)的估计，得到联合概率分布: 概率估计方法可以是极大似然估计或贝叶斯估计: 朴素贝叶斯法的基本假设是条件独立性， 这是一个较强的假设. 由于这- ~假设， 模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测...
贝叶斯神经网络----从贝叶斯准则到变分推断
weixin_47062807的博客
05-15 2124
“如果一个知识你觉得学起来费力，很可能是你关于该知识的基础没有掌握” 前言 在认识贝叶斯神经网络之前，建议先复习联合概率，条件概率，边缘概率，极大似然估计，最大后验估计，贝叶斯估计这些基础 极大似然估计 一个神经网络模型可以视为一个条件分布模型p(y∣x,w)p(y|x,w)p(y∣x,w),即在x,wx,wx,w已知的条件下求出yyy的分布，如果是分类问题，该分布对应分到各类的概率，如果是回归问题，则认为是高斯分布并取均值作为预测结果，相应地，神经网络的学习可以视作一个最大似然估计（Maximum L.
机器学习中的损失函数和风险函数
刘明的博客
03-08 2041
1、损失函数：度量一次模型的好坏统计学习中常用的损失函数有如下几种：   1. 0-1损失函数(0-1 loss function)      预测正确，损失函数为0；预测错误，损失函数为1；该函数不考虑预测差别多少。   2. 平方损失函数：          取预测差距的平方    3. 绝对损失函数：                       损失函数的绝对值     4. 对数损失函数或...
《数据科学家养成手册》--第十一章算法学2---（非监督，监督贝叶斯概率以及损失函数）
luolang_103的博客
05-02 1317
11.8 机器学习-----自动归纳数据挖掘是随着商务智能发展起来的一种相对比较新的一种算法学科。只知道自己想学习的是数据挖掘和大数据，但是真的说出个所以然自己真的办不到。现在说是一种算法学科，忽然觉得自己学习那么多的算法还是挺好的。“挖掘”就是说明一些东西不是在表面，需要进行不断的深度研究，等一系列的工作，从而获得知识。机器学习也是计算机算法分支的一个学科。以前的算法大都是解决模型上的确定问题，...
朴素贝叶斯算法(Naive Bayes) 原理总结
chaojianmo的博客
10-16 7442
1 数学知识 贝叶斯定理： 特征条件独立假设： 2 朴素贝叶斯 2.1 算法原理 输入空间： 输出空间：y={C1，C2，…,CK}。 训练集：T={(x1,y1),(x2,y2),…,(xN,yN)}。 对于每个实例，其P(X,Y)独立同分布。在进行分类之前，需要先将计算先验概率和条件概率然后据此计算出后验概率。 1) 先验概率分布： P(Y=Ck)，k=1,2...
机器学习：机器学习中的损失函数
EastCarFxx Blog
02-18 2269
机器学习中的损失函数在机器学习中，损失函数是用来衡量预测结果与实际值之间差别大小的指标。一般的损失函数有5五种：一. Gold Standard（标准式，0-1式）主要用于理想sample，这种一般很少有实践场景，这个方法的作用更多的是用来衡量其他损失函数的效果。表达式如下：L(m)={01if  m≥0if  m<0L(m)=\begin{cases} 0 & \textrm{if} \ \ m\
朴素贝叶斯分类器原理及公式
silent_crown的博客
12-02 1900
https://blog.csdn.net/u012162613/article/details/48323777 全概率公式： 贝叶斯定理：，， 对于分类模型，X,y。X有n维特征各自独立，y有k类（k个取值）。 独立性假设： 用于分类的特征在类确定下来的情况下都是独立的。 分母都一样，P(yk)根据数据分布求，分子第一项的求法有两种。 x的特征离散时，表示为这一类样本中某个...
贝叶斯定理
s1491695565的专栏
12-10 4097
贝叶斯定理 通常，事件A在事件B的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯法则就是这种关系的陈述。 贝叶斯法则又被称为贝叶斯定理、贝叶斯规则，是指概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。 作为一个规范的原理，贝叶斯法则
机器学习算法详解：从朴素贝叶斯到GDBT
"北京邮电大学学生整理的机器学习算法笔记，包括朴素贝叶斯、SVM、决策树等多个常用算法的概述与解析。" 在机器学习领域，掌握各种算法的思想是至关重要的。这篇笔记详细梳理了多个常见的机器学习算法，帮助读者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值