机器学习笔记 第七章贝叶斯分类器

已于 2024-07-30 02:15:04 修改
阅读量401 收藏 10
点赞数 4
文章标签： 机器学习 笔记 人工智能
于 2024-07-29 17:51:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53034510/article/details/140770058
版权

7.1  贝叶斯决策论

        贝叶斯决策论是概率框架下实施决策的基本方法.对分类任务来说，在所有相关概率都己知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。给定N个类别，令\lambda _{ij}代表将第j类样本误分类为第i类所产生的损失，则基于后验概率将样本x分到第i类的条件风险为：

        为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记，即贝叶斯判定准则：

        h^{*}称为贝叶斯最优分类器，其总体风险称为贝叶斯风险，反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。P(c|x)在现实中通常难以直接获得，从这个角度来看，机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率。大体来说，主要有两种策略：给定 x， 可通过直接建模P(c|x) 来预测 c，这样得到的是"判别式模型" ，包括决策树、 BP 神经网络、支持向量机等; 也可先对联合概率分布P(x,c)建模，然后再由此获得P(c|x)， 这样得到的是"生成式模型"，必须考虑

基于贝叶斯定理，P(c|x)可写为

其中，P(c)是类"先验"概率；P(x|c)是样本z相对于类标记c的类条件概率，或称为"似然" ; P(x) 是 用于归一化的"证据" 因子。

7.2  极大似然估计

        估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形 式，再基于训练样本对概率分布的参数进行估计。具体地，记关于类别c的类条 件概率为P(x|c)， 假设P(x|c)具有确定的形式并且被参数向量\theta _{c}唯一确定， 则我们的任务就是利用训练集D估计参数\theta _{c}。参数θc对于数据集Dc 的似然是

连乘操作易造成下溢，通常使用对数似然

于是，\theta _{c}的极大似然估计\hat{\theta }_{c}为

7.3  朴素贝叶斯分类器

        基于有限训练样本直接估计联合概率，在计算上将会遭遇组合爆炸问题，在数据上将会遭遇样本稀疏问题，属性数越多，问题越严重。基于属性条件独立性假设，贝叶斯公式可重写为

        由于对所有类别来说P(x) 相同，于是

        先估计P(c)

        \blacksquare对离散属性而言，令D_{c,x_{i}}表示 D_{c} 中在第i个属性上取值为 x_{i}的样本组成的集合，则

        \blacksquare对于连续属性，考虑概率密度函数，假定p(x_{i}|c)\sim N(\mu _{c,i},\sigma _{c,i}^{2})，则

7.4  拉普拉斯修正

        若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现问题，因为概率连乘将“抹去”其他属性提供的信息。令 N 表示训练集 D 中可能的类别数，N_{i}表示第i个属性可能的取值数，则

参考文献：《机器学习》周志华

鲸~屿
关注
《机器学习》周志华(西瓜书)学习笔记 第七章 贝叶斯分类器
sdm12345的博客
06-13 1403
《机器学习》周志华(西瓜书)学习笔记 总目录 第七章 贝叶斯分类器 1.贝叶斯决策论 假设有 N 种可能的类别标记，即 y={C1，C2，…，CN}y = \{C_1， C_2，… ， C_N\}y={C1​，C2​，…，CN​}λji\lambda_{ji}λji​ 是将一个真实标记为 CjC_jCj​ 的样本误分类为 CiC_iCi​ 所产生的损失. 基于后验概率 P(Ci∣x)P(C_i |...
《机器学习》 小白Python学习笔记（九） ————第七章 贝叶斯分类器
River_J777的博客
07-30 560
《机器学习》小白Python学习笔记（一） ————第七章 贝叶斯分类器引言贝叶斯决策论基于最小风险的贝叶斯决策基于最小错误率的贝叶斯决策朴素贝叶斯分类器半朴素贝叶斯分类器 引言 说到贝叶斯分类器，必然离不开的是贝叶斯公式： P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋯ ,n P\left(B_{i} \mid A\right)=\frac{P\left(A \mid B_{i}\right) P\left(B_{i}\right)}{\sum_{j=1}^{n
机器学习 西瓜书 第七章贝叶斯分类器 读书笔记
猾枭的博客
10-30 558
朴素贝叶斯
机器学习西瓜书笔记(七) 第七章贝叶斯分类器+代码
weixin_42329812的博客
08-17 481
第七章详细介绍了贝叶斯分类器及其在机器学习中的应用，包括以下几个主要内容： 1. **贝叶斯决策论**：贝叶斯决策论是概率框架下实施决策的基本方法，它考虑如何基于相关概率和误判损失来选择最优的类别标记。贝叶斯最优分类器是基于最小化总体风险的判定准则。 2. **极大似然估计**：极大似然估计是一种估计概率模型参数的方法，它通过选择参数值来最大化观测数据出现的似然度。 3. **朴素贝叶斯分类器**：朴素贝叶斯分类器是一种简单的概率分类器，它基于属性条件独立性假设。通过计算类先验概率和属性条件概率来进行
【机器学习西瓜书学习笔记——贝叶斯分类器】
m0_51148715的博客
08-04 1030
贝叶斯网络，又称信念网络，或有向无环图模型，是一种系统地描述随机变量之间关系的语言。DAG中节点表示随机变量，边表示变量之间的依赖关系。条件概率表中的每一个元素对应DAG中唯一的节点，存储此节点对于其所有直接前驱节点的联合条件概率。从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。
《机器学习》读书笔记 ——第七章 贝叶斯分类器
u011288709的博客
11-07 921
1、贝叶斯决策论（Bayesian decision theory） 是概率框架下实施决策的基本方法。基于后验概率可获得将样本x误分类所产生的期望损失（expected loss），即在样本x上的“条件风险”（conditional risk） 我们的任务是寻找一个判定准则，以最小化总体风险。——贝叶斯判定准则（Bayes decision rule）：最小化总体风险，只需在每个样本上选择使c...
机器学习（周志华） 第七章贝叶斯分类器
YJY131248的博客
03-10 1968
关于周志华老师的《机器学习》这本书的学习笔记 记录学习过程 本博客记录Chapter7
西瓜书读书笔记整理（七）—— 第七章 贝叶斯分类器
Smileyan's blog
11-04 5034
主要结合西瓜书介绍贝叶斯分类器的主要内容。
机器学习 复习笔记7 （第七章 贝叶斯分类器）
果菌药的博客
05-10 1971
7.1 贝叶斯决策论（填空） 贝叶斯判定准则： 为最小化总体风险，只需在每个样本上选择哪个能使条件风险最小的类别标记，即 此时，被称为贝叶斯最优分类器，与之对应的总体风险称为贝叶斯风险。 先验概率： 类条件概率、“似然”： 后验概率： 7.2 极大似然估计 关于极大似然估计的概念我在之前的博客中有提到，在复习笔记3，3.4小结的上面，传送门：极大似然法 本篇博客结合一个更具体...
《机器学习》周志华--第7章贝叶斯分类器。笔记+习题
weixin_45775701的博客
11-17 1万+
将由结果推原因转化为由原因推结果 适用于多分类任务 目标：寻找一种分类器，使错分类率最小化/精度最大化 7.1贝叶斯决策论（Bayesian decision theory） 怎样用非数学语言讲解贝叶斯定理（Bayes theorem）？. 我们的任务是寻找一个判定准则以最小化总体风险: R(h)=Ex[R(h(x)∣x)]R\left(h\right)=Ex\left[R\left(h\left(x\right)∣x\right)\right]R(h)=Ex[R(h(x)∣x)] 显然，每个.
机器学习算法笔记之4：贝叶斯分类器
marsjhao Blog
04-04 1万+
一、贝叶斯分类器详解 贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为理论基础。贝叶斯分类器的分类原理是通过先验概率，利用贝叶斯公式计算出后验概率，选择最大后验概率所对应的分类结果。 贝叶斯准则 其中，P(c)是先验概率，P(x|c)样本x相对于；类标记c的类条件概率，或称为似然（likelihood）；P(x)是用于归一化的证据因子。对于给定样本x，证据因子与类标记无关，则估计P
机器学习笔记（六）：贝叶斯分类器
qq_35771020的博客
12-06 588
机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，这个产生的模型大体上可以分为“判别式模型”和“生成式模型”两大类。 其中判别式模型是给定x，通过直接对条件概率分布P（y|x）进行建模来预测y。这种方法寻找不同类别的最优分类面，反映的是异类数据之间的差异。之前几篇文章中介绍的SVM、决策树、线性模型等都是属于判别式模型。 生成式模型则是先对联合概率分布P（x,y）建模，然后...
机器学习笔记(七)贝叶斯分类器
热门推荐
医疗影像检索
03-03 1万+
7.贝叶斯分类器 7.1贝叶斯决策论 贝叶斯决策论（Bayesiandecision theory）是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。这其实是关系到两个基本概念：多大可能是这个类别以及可能误判的损失？机器学习就是从中选择误判损失最小的最大概率类别作为其分类标识。
机器学习—矩阵乘法
yn3535_的博客
11-06 590
让我们来看看向量矩阵乘法，也就是当你把一个向量乘以一个矩阵，又得到一个向量，列向量a转置后得到行向量a，所以与其把这看作是一个2×1的矩阵，转置后就变成了1×2的矩阵，现在用这四个元素创建一个2×2的矩阵w，如果你想计算Z，Z=a转置W，结果z是一个2×1的矩阵，计算z的第一个值，我们要做一个a转置乘w1，所以要计算z的第一个元素，最终得到(1*3)+(2*4),然后计算第二个元素，现在将转置乘w2，，所以计算第二个元素，最终得到(1*5)+(2*6)。如何在向量之间取点积？
机器学习系列----介绍前馈神经网络和卷积神经网络 (CNN)
DK22151的博客
11-05 1388
前馈神经网络（FNN）是一种最基本的神经网络结构，信息在网络中按单向流动，没有任何循环或反馈连接。它由输入层、若干隐藏层和输出层组成。输入层：接收原始数据，传递给网络中的隐藏层。隐藏层：通过神经元和激活函数处理数据，捕捉数据中的特征。输出层：输出网络最终的预测结果。FNN 是最简单的神经网络结构，通常用于分类和回归问题。卷积神经网络（CNN）是一种专门用于处理具有网格结构的数据的深度学习算法，最常用于图像处理任务。
机器学习—矩阵乘法的规则
yn3535_的博客
11-06 387
离得近的两个数字必须匹配，这是因为在相同长度的向量之间只能取点积，所以你可以取两个数字得向量之间的点积是因为你可以取长度为2得向量之间的内积。，另一个观察是输出z等于转置w，z是3×4的矩阵，所以这个乘法的输出将具有与x相同的行数，转置和W相同的列数，这也是矩阵乘法的另一个性质。有一个2×3的矩阵A，有两行三列，把这个矩阵的列想象成三个向量a1,a2,a3，用一个转置，把它相乘，首先，转置是一个3×2的矩阵，W是一个2×4的矩阵。把一个矩阵进行行变列，列变行的操作。
ISME Comm | 机器学习和深度学习在微生物组研究中的应用
悟道西方
11-04 986
Review Article，ISME Communications, DOI：https://doi.org/10.1038/s43705-022-00182-9 第一作者：Ricardo Hernández Medina 通讯作者：Mads Nielsen；Simon Rasmussen 主要单位：哥本哈根大学 - 摘要 - 我们把在生态系统中与我们息息相关的许多微生物群落统称为微生物组。虽然肉眼不可见，但是微生物组主宰或影响着宏观系统，如人类健康，植物胁迫以及生化循环。这一现象吸引
8.机器学习--决策树
最新发布
我是个好人呀，????
11-07 1146
(⊙﹏⊙)下周有要开组会，不知道该说啥，啊啊啊啊😫提到树，我们第一反应都是数据结构中的二叉树，那么决策树又是什么？他有什么特别之处呢？决策树是一类常见的机器学习算法。按照西瓜书里给出的定义👇：这个定义看起来还是有些晦涩，通俗的来讲，决策树就是一种依赖树型结构进行决策的模型。例如，我们买西瓜的时候肯定想挑一个熟透的好瓜，一般来讲我们都有一套判断这个西瓜怎么样的标准，比如拍一拍听西瓜的声音是怎么样的？西瓜的色泽是不是鲜明的等等，我们把每个判断标准作为一个树结点，判断结果作为两个子结点连接下一个判断条件，最终
【机器学习】机器学习回归模型全解析：线性回归、多项式回归、过拟合与泛化、向量相关性与岭回归的理论与实践
null18的博客
11-07 1519
本文深入探讨了机器学习中的回归任务，并通过多种回归模型的详细介绍，帮助大家理解如何利用回归方法解决现实中的预测问题。通过对线性回归、多项式回归、岭回归、局部回归等模型的剖析，我们掌握了不同场景下回归任务的最佳选择和优化技巧。回归任务的基本概念：回归任务旨在预测一个连续的输出值，广泛应用于房价预测、股市预测等领域。线性回归模型：简单且高效，通过最小化均方误差来训练模型，适合处理线性关系数据。多项式回归：扩展了线性回归，通过加入高次项处理非线性问题，适用于较复杂的数据关系。
Python Scikit-learn实战：构建机器学习分类器
"本文是关于使用Scikit-learn在Python中构建机器学习分类器的入门教程，主要聚焦于使用Naive Bayes分类器对乳腺癌肿瘤数据进行预测。通过本教程，读者将学习如何设置Python环境，特别是安装和使用Jupyter Notebook...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值