SVC模型的校准 Model Calibration

最新推荐文章于 2024-11-07 22:09:22 发布
最新推荐文章于 2024-11-07 22:09:22 发布
阅读量372 收藏 1
点赞数 3
分类专栏： 神经网络、机器学习杂货铺 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41926099/article/details/136208045
版权
本文介绍了机器学习中的模型校准，强调了它不是修改原模型，而是通过训练辅助模型调整预测概率。重点讲解了预期校准误差(ECE)和reliabilitydiagram在模型性能评估中的作用，特别提及sklearn中的calibration_curve功能仅适用于二分类问题。
摘要由CSDN通过智能技术生成

关于机器学习模型校准的文章写的比较好的：Sk-learn 中文社区-概率校准[1]、知乎-模型校准 Calibration[2]、CSDN-机器学习_预测概率校准[3]。

看了这些文章后，有几个点需要明确一下：
1、所谓的模型校准（概率校准）并不是对直接对原来训练好的模型进行更改，而是再多训练一个辅助模型将原来模型预测出来的概率进行修改，也就是多训练一个模型专门调整原来模型预测的概率 [3]， 需要注意，训练这个辅助模型的时候不能使用train_data，一般是使用Val_data；

2、评价一个模型预测结果的好坏，除了我原来理解的准确率、F1啥的之外，还有一个比较冷门的参数----预期校准误差（Expected Calibration Error，ECE) [3], ECE用来判断我们模型的预测概率与真实概率平均相距多远，讲人话就是我们的模型既不能过于自信也不能自卑；

3、除了ECE指标外，reliability diagram也是是一种评价的方式，但是sklern自带的calibration_curve函数只能针对二分类问题画图；

MATLAB算法实战应用案例精讲-【数模应用】概率生成模型（Generative Model）
qq_36130719的博客
01-28 1086
一个生成模型可以大致定义如下：生成模型根据概率模型描述了数据集是如何生成的。通过从该模型中采样，我们能够生成新数据。假设有一个包含马图像的数据集。希望构建一个模型且该模型可以生成从未存在但看起来仍然真实的马的新图像，因为该模型已经了解了控制马外观的一般规则。这种问题可以使用生成建模来解决。下图显示了一个典型的生成建模过程的总结。首先，需要一个由尝试生成的实体的许多示例组成的数据集。这个被称为训练数据，一个这样的数据点被称为观察。每个观察包含许多特征，对于图像生成问题，特征通常是单个像素值。
Expected Calibration Error (ECE)模型校准原理解析
PyBigStar的博客
02-05 1万+
 对于高风险应用来说，机器学习模型对其预测的置信度是至关重要的。``model calibration（模型校准）``就是要让模型结果预测概率和真实的经验概率保持一致。模型校准这个话题比较小众，博主也是在看一篇Self-KD的论文时才看到的。模型校准的metrics有很多，这里博主仅仅讨论``Expected Calibration Error (ECE)``这一个比较经典的模型校准metric。
模型校准方法介绍
雾里闹的博客
04-16 2157
在神经网络模型的应用中经常遇到指定准确率或者召回率的情况，大家都希望可以不调整模型，只调整阈值就满足指定准确率或者召回率，但是有时调整阈值时可以发现，当我们把阈值从0.5调整为0.6，0.7，0.8，0.9时，会发现模型准确率提高并没有按照线性提升。因此本文中的模型校准是指将模型的预测概率和真实置信度之间的差距缩小，并不会改变模型本身的精度，只是会使其更容易使用。在测试时，我们会得到一个校准概率的向量。）方法的背景，为了简单，我们默认模型的输出是正例的置信概率，由此我们可以使用下列方式表示整个模型。
模型预测结果校准——Isotonic regression
ClaireQi的博客
07-16 1万+
模型预测结果校准——Isotonic regression   方法简介： Isotonic Regression: the method used by Zadrozny and Elkan (2002; 2001) to calibrate predictions from boosted naive bayes, SVM, and decision tree models.[1] Za...
校正的几种模型
David_jiang
06-24 5577
光谱反演的统计学模型主要有经验线性法（empirical line）内部平均法（internal average relative reflectance），平场域法（flat field）和对数残差法。1.经验线性法经验线性法需要有两个以上光谱均一、有一定面积大小的目标，分别为暗目标和亮目标。假定图像DN值与反射率R间存在线性关系实测两个定标点的地面反射光谱值，计算图
预测模型结果校准——Bining
ClaireQi的博客
07-17 7044
预测模型结果校准——Bining 文献[2]中，将训练集中样本按估计值降序排序，均分成k等分；对于落在某个bin里的新样本，属于某个class的概率等于这个bin中这个class的实例所占的比例。[1] 文献[3]中， (1) 将logistic regression模型的输出结果划分成n个等长的bin，使得 ，定义了第i个bin的区间范围。对于第i个bin的校准值通过下式获得： 即计...
概率校准 Probability Calibration
热门推荐
FanJin的博客
11-23 1万+
对于二分类分类器，除了得到AUC评价指标，常还需要了解分类器预测概率的准确性。比如分类器预测某个样本属于正类的概率是0.8，那么就应当说明有80%的把握认为该样本属于正类，或者100个概率为0.8的里面有80个确实属于正类。根据这个关系，可以用测试数据得到Probability Calibration curves。 假设我们考虑这样的一种情况：在二分类中，属于类别0的概率为0.500001，属...
[机器学习]概率模型的可靠性曲线及校准
For-4946的博客
02-04 3554
1.什么是可靠性曲线？ 可靠性曲线是一个概率类模型的评估指标，适用于朴素贝叶斯，SVM，逻辑回归等概率类算法。是以y预测值为横坐标，y真实值为纵坐标的曲线。 因此当我们画出的可靠性曲线越接近对角线时，我们认为这个学习器的性能越好。 2. 代码展示 sklearn的可靠性曲线和学习曲线相同都是不能直接画图而是返回画图所需要的值，因此下面代码是根据calibration_curve返回的值对三个算法的可靠性曲线的探索。 from sklearn.datasets import make_classificati
Python学习----不同分类器的Calibration比较
临风暖阳的博客
05-08 1174
Well calibrated classifiers are probabilistic classifiers for which the output ofpredict_probacan be directly interpreted as a confidence level. For instance, a well calibrated (binary) classifier should classify the samples such that for the samples to...
机器学习算法——概率类模型评估指标4（校准可靠性曲线及预测概率直方图）
Vicky_xiduoduo的博客
05-09 2328
一、预测概率直方图 我们可以通过绘制直方图来查看模型的预测概率的分布。 直方图以样本的预测概率分箱后的结果为横坐标，每个箱中的样本数量为纵坐标绘制一个图像。 具体代码实现为： from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.naive_bayes import GaussianNB from sklearn.svm im
朴素贝叶斯-可靠性曲线-朴素贝叶斯和SVC预测概率的效果各方面都不如逻辑回归
weixin_45271076的博客
05-10 999
如果贝叶斯的模型效果不如其他模型，而我们又不想更换模型，那怎么办呢？如果以精确度 为指标来调整参数，贝叶斯估计是无法拯救了——不同于SVC和逻辑回归，贝叶斯的原理简单，根本没有什么可用的 参数。但是产出概率的算法有自己的调节方式，就是调节概率的校准程度。校准程度越高，模型对概率的预测越准 确，算法在做判断时就越有自信，模型就会更稳定。如果我们追求模型在概率预测上必须尽量贴近真实概率，那我们 就可以使用可靠性曲线来调节概率的校准程度 ...
Calibration: 一个工业价值极大，学术界却鲜有研究的问题！
夕小瑶科技说
01-06 2215
文 | kid丶(知乎作者)编 | 夕小瑶尽管深度学习给工业界带来了一波上线春天，但是总有很多比较难的业务，模型反复迭代后准确率依然达不到预期的产品标准，难以满足用户期望。以下为工业界常...
神经网络 对话_我确定或不确定与神经网络的对话
weixin_26630173的博客
08-28 494
神经网络 对话If your cell phone is suggesting whether a mushroom you just picked up from your backyard for your dinner is poisonous, it better be sure about it! Computer vision applications are now dominate...
机器学习—矩阵乘法
yn3535_的博客
11-06 482
让我们来看看向量矩阵乘法，也就是当你把一个向量乘以一个矩阵，又得到一个向量，列向量a转置后得到行向量a，所以与其把这看作是一个2×1的矩阵，转置后就变成了1×2的矩阵，现在用这四个元素创建一个2×2的矩阵w，如果你想计算Z，Z=a转置W，结果z是一个2×1的矩阵，计算z的第一个值，我们要做一个a转置乘w1，所以要计算z的第一个元素，最终得到(1*3)+(2*4),然后计算第二个元素，现在将转置乘w2，，所以计算第二个元素，最终得到(1*5)+(2*6)。如何在向量之间取点积？
ISME Comm | 机器学习和深度学习在微生物组研究中的应用
悟道西方
11-04 892
Review Article，ISME Communications, DOI：https://doi.org/10.1038/s43705-022-00182-9 第一作者：Ricardo Hernández Medina 通讯作者：Mads Nielsen；Simon Rasmussen 主要单位：哥本哈根大学 - 摘要 - 我们把在生态系统中与我们息息相关的许多微生物群落统称为微生物组。虽然肉眼不可见，但是微生物组主宰或影响着宏观系统，如人类健康，植物胁迫以及生化循环。这一现象吸引
8.机器学习--决策树
最新发布
我是个好人呀，????
11-07 786
(⊙﹏⊙)下周有要开组会，不知道该说啥，啊啊啊啊😫提到树，我们第一反应都是数据结构中的二叉树，那么决策树又是什么？他有什么特别之处呢？决策树是一类常见的机器学习算法。按照西瓜书里给出的定义👇：这个定义看起来还是有些晦涩，通俗的来讲，决策树就是一种依赖树型结构进行决策的模型。例如，我们买西瓜的时候肯定想挑一个熟透的好瓜，一般来讲我们都有一套判断这个西瓜怎么样的标准，比如拍一拍听西瓜的声音是怎么样的？西瓜的色泽是不是鲜明的等等，我们把每个判断标准作为一个树结点，判断结果作为两个子结点连接下一个判断条件，最终
随机采样之接受拒绝采样
Reaearcher-Du
11-07 514
接受-拒绝采样（Accept-Reject Sampling）方法是一种更为通用的采样方法，它可以用来生成具有任意分布的随机样本。这种方法不要求我们知道CDF的逆，而是利用一个简单的概率分布（称为提议分布）来生成样本，然后以一定的概率接受或拒绝这些样本。
Oracle 第28章：Oracle机器学习
hummhumm的专栏
11-07 564
通过Oracle提供的丰富工具和服务，企业和组织可以高效地进行数据科学和机器学习项目。从数据准备、模型训练、优化、解释，到模型监控、自动化机器学习，再到生产环境中的管理和维护，每一步都得到了充分的支持。这不仅加速了项目的交付周期，还提高了模型的准确性和实用性，为企业带来了显著的竞争优势。希望以上内容能为你提供有关如何在Oracle环境中实施和管理机器学习项目的深入见解。
【机器学习】机器学习中用到的高等数学知识
IT古董
11-07 299
机器学习是一个跨学科领域，涉及多种高等数学知识。掌握这些高等数学知识可以帮助理解机器学习算法的工作原理和实现过程。在实际应用中，建议结合编程实践，如使用 Python 中的 NumPy 和 SciPy 库进行线性代数和数值计算，使用 scikit-learn 进行统计分析和机器学习建模。通过理论与实践相结合，能够更深入地理解机器学习的核心概念和应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值