概率校准

最新推荐文章于 2023-08-29 20:35:10 发布
最新推荐文章于 2023-08-29 20:35:10 发布
阅读量611 收藏
点赞数 1
分类专栏： 算法之路 文章标签： 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/srping123/article/details/107295914
版权
概率校准对于提高分类器输出概率的准确性至关重要，尤其适用于CTR和风控场景。文章介绍了评估方法如reliability diagram、Logarithmic Loss和Brier score，以及Platt Calibration和Isotonic Regression两种校准算法，强调了使用独立数据集进行校准以避免偏差的重要性。
摘要由CSDN通过智能技术生成

概率校准

分类器输出的概率，通过校准可以达到更好的效果，常用于CTR和风控领域。
概率校准简介
模型校准-知乎

校准评估-reliability diagram、Logarithmic Loss、Brier score

  • reliability diagram
    根据模型的输出将样本分成10个桶，即预测为0至0.1的样本归为一个桶，预测为0.1至0.2的样本归为一个桶等等，以这10个桶作为横坐标；计算每个桶内的正样本占比作为纵坐标，以此绘制的曲线reliability diagram可用于评估。
    reliability diagram 接近对角线说明效果好。

  • Logarithmic Loss
    在这里插入图片描述
    也即为交叉熵损失。

  • Brier score
    在这里插入图片描述
    也即为mse损失。

校准算法-Platt Ca
最低0.47元/天 解锁文章
srping123
关注
专栏目录
Probability Calibration概率校准大比拼：性能、应用场景和可视化对比总结
Mr数据杨
10-18 719
和各有优缺点。选择哪一种方法取决于具体的应用场景、性能需求以及可用资源。更适用于需要高精度和自定义性的场景，而更适用于需要快速、简单解决方案的场景。
概率模型校准
Jasminexjf的博客
08-02 1332
业务场景遇到模型校准，随记
【Scikit-Learn 中文文档】概率校准 - 监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-23 929
执行分类时, 您经常希望不仅可以预测类标签, 还要获得相应标签的概率. 这个概率给你一些预测的信心. 一些模型可以给你贫乏的概率估计, 有些甚至不支持概率预测. 校准模块可以让您更好地校准给定模型的概率, 或添加对概率预测的支持. 精确校准的分类器是概率分类器, 其可以将 predict_proba 方法的输出直接解释为 confidence level（置信度级别）. 例如，一个经过良好校准的（二元的）分类器应该对样本进行分类, 使得在给出一个接近 0.8 的 prediction_proba 值的样本中
概率校准 Probability Calibration
热门推荐
FanJin的博客
11-23 1万+
对于二分类分类器，除了得到AUC评价指标，常还需要了解分类器预测概率的准确性。比如分类器预测某个样本属于正类的概率是0.8，那么就应当说明有80%的把握认为该样本属于正类，或者100个概率为0.8的里面有80个确实属于正类。根据这个关系，可以用测试数据得到Probability Calibration curves。 假设我们考虑这样的一种情况：在二分类中，属于类别0的概率为0.500001，属...
基于概率校准的集成学习
03-18
标题中提到的“基于概率校准的集成学习”是机器学习领域中的一个重要概念，它结合了概率校准与集成学习两种技术。首先，我们需要了解什么是集成学习，以及概率校准在其中扮演的角色。 集成学习是机器学习中的一种...
spacial_cal:冰盖模型数据的空间概率校准
04-16
在IT行业中，尤其是在地球科学和气候研究领域，冰盖模型数据的空间概率校准是一个至关重要的过程。这个过程涉及到对冰盖动态变化的精确预测，这对于理解全球气候变化、海平面上升以及地质灾害的风险评估具有重要意义...
机器学习：概率校准
AI168178的博客
08-29 322
之前已经讲过了逻辑回归，这里不再细讲，只是简单的说一个函数，主要是方便大家更好的理解概率校准。在逻辑回归中，用的最多的就是sigmod函数，这个函数的作用就是把无限大或者无限小的数据压缩到[0,1]之间，用来估计概率。图像大致为：基本上是以0.5分界，0.5以上为1，0.5以下为0。但是这个分界值可以自己设定。
概率校准calibration_curve，用Isotonic regression，得出calibration_curve的好坏，用交叉熵检验，和方差，及使用朴素贝叶斯方法
weixin_42666153的博客
11-26 705
概率校准calibration_curve，用Isotonic regression，得出calibration_curve的好坏，用交叉熵检验，和方差，及使用朴素贝叶斯方法
概率校准Probability Calibration
10-21 972
在分类问题中，我们有时不仅仅需要给测试样本打上类别标签，也需要给出一个“置信度”来表示该样本属于此类别的可能性。 然而，有的分类器只能直接打上类别标签没法给出置信度。概率校准就是用来解决这个问题的。 参考资料 维基百科：概率分类 维基百科：普拉特缩放 一篇博客：概率值校正 sklearn中的概率值校正 转载于:https://www.cnblogs.com/weiyinfu/p/77...
分类问题的概率校准
weixin_38527856的博客
06-05 1523
一 背景： 对于某个不确定问题，每个人都会给出一个判断即主观概率，事物实际发生的概率是客观概率，概率校准是衡量主观概率与客观概率之间一致程度的方法，如果一个人的主观概率判断经常比客观概率大，则过份自信，相反就是过低自信。朴素贝叶斯是过分自信的分类器，支持向量机是过低自信的分类器，逻辑回归往往能给出较好的概率预测。 分类器分类的结果即score,而非probability，是由于分类器给出的概率结果与真实的概率分布差别较大。 分类模型得到类别概率结果有2条解决路径： 1 直接建立概率分类模型，如使用l
验证概率
良_123的专栏
08-13 594
using System; namespace luntan { class Class1 { static void Main(string[] args) { int x=0; int[] Sum1=new int[1000]; for(int i=1;i { for(int j=1;j { if(i!=j) { for(int k=1;k { if(k!=i
概率校准及其实现方式
芳樽里的歌的博客
02-25 3412
本文介绍了概率校准的概念及相关方法
风险模型 - 概率校准
fzcoolbaby的博客
08-11 2078
概率校准原因 在概率模型搭建过程中，由于抽样与正则化的原因，导致模型输出的概率值明显偏离真实的概率值。这时候我们称这些模型直接输出的概率值是定序值，而非定距数值，可比较大小，但其绝对值并无太多含义。那么如何将模型输出的prob校准到真实的逾期概率呢。使得经过校准后的概率变成逾期概率的意义。 案例 如下表所示，我们利用模型将 pred_prob positive_n ttl positive...
概率校准-特殊方法
Wd160521的博客
05-29 401
如果是乙方公司，好坏样本的来源可能不同，或者甲方爸爸并没有全量反馈样本表现，那么自然样本中的好坏比无法反映真实的情况。一般情况下给到的坏样本比例会高于真实比例。这时候做完模型后，要进行概率校准。 下面举一个例子，某评分卡模型建模样本各分数段的好坏分布如下： 而我们抽样前or根据经验，实际上该产品的违约率只有2%左右，那么这个坏样本占比会比产品上线后实际落在该分数段的坏样本占比要高得多。要还原真实的情况，需要进行如下校准： 如何计算呢？ 固定坏样本数量1000个，那么根据2%的实际分布，好样本
python校准曲线
最新发布
09-15
在Python中，校准曲线（Calibration Curve）通常用于评估分类模型的性能，特别是在二分类问题中。它展示了实际标签（True Positives, True Negatives）与预测概率之间的关系。校准曲线显示了模型预测的概率值（x轴）对应于真实类别分布（y轴）的情况。 创建校准曲线的步骤一般包括： 1. **数据准备**：首先，你需要有一个包含预测概率和实际标签的数据集。 2. **生成曲线**：使用`sklearn.metrics.plot_calibration_curve`函数，输入是概率数组、实际标签以及一些其他选项（如是否绘制置信区间等）。 ```python from sklearn.calibration import calibration_curve from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt probas = model.predict_proba(X_test)[:, 1] # 对测试数据计算概率 labels = y_test fraction_of_positives, mean_predicted_value = calibration_curve(labels, probas, n_bins=10) ``` 3. **绘制曲线**：使用matplotlib将分数（fraction of positives）和平均预测值（mean predicted value）绘制出来。 ```python plt.plot(fraction_of_positives, mean_predicted_value, label='Calibration curve') plt.xlabel('Fraction of positives') plt.ylabel('Mean predicted value') plt.legend(loc='lower right') plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值