机器学习算法——概率类模型评估指标1（布里尔分数Brier Score）

VIP文章 已于 2022-05-09 14:52:11 修改
阅读量5.6k 收藏 24
点赞数 3
分类专栏： 模型评估 文章标签： 机器学习 算法 概率论 人工智能 分类
于 2022-05-03 11:11:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vicky_xiduoduo/article/details/124550774
版权

概率预测的准确程度被称为“校准程度”，是衡量算法预测出的概率和真实结果的差异的一种方式。

一种常用的指标叫做布里尔分数，它被计算为是概率预测相对于测试样本的均方误差（MSE）。

MSE通常用作回归问题的损失函数。MSE的公式为

MSE = \frac{1}{n} \sum_{i=1}^{n} (Y_i-\hat{Y_i})^2

预测值为\hat{Y}，真实值为Y。

由MSE推出布里尔分数（Brier Score）的公式为:

Brier \ Score = \frac{1}{N} \sum_{i=1}^{n} (p_i - o_i)^2

其中，N是样本数量，p_i为朴素贝叶斯预测出的概率，

最低0.47元/天 解锁文章
Vicky_xiduoduo
关注
  • 3
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
朴素贝叶斯：概率类模型的评估指标
weixin_44507435的博客
04-16 5248
文章目录1.布里尔分数Brier Score2.对数似然函数Log Loss3.可靠性曲线Reliability Curve4.预测概率的直方图5.校准可靠性曲线 混淆矩阵和精确性可以帮助我们了解贝叶斯的分类结果。然而，我们选择贝叶斯进行分类，大多数时候都不是为了单单追求效果，而是希望看到预测的相关概率。这种概率给出预测的可信度，所以对于概率类模型，我们希望能够由其他的模型评估指标来帮助我们判断，...
机器学习：概率校准
weixin_30326745的博客
06-23 674
1.再提逻辑回归 前面已经讲过了逻辑回归，这里不再细讲，只是简单的说一个函数，主要是方便大家更好的理解概率校准。 在逻辑回归中，用的最多的就是sigmod函数，这个函数的作用就是把无限大或者无限小的数据压缩到[0,1]之间，用来估计概率。图像大致为： 基本上是以0.5分界，0.5以上为1，0.5以下为0。但是这个分界值可以自己设定。 2.分类函数的原理 在进行...
可能是最全的机器学习模型评估指标总结
thothsun 的博客
04-18 8590
本文参考了 scikit-learn 的官方文档的模型评估章节的部分内容，总结了常用的分类、聚类和回归模型的模型评估指标。 目录： 分类模型的度量 聚类模型的度量 回归模型的度量 符号定义： yyy：真实值，y^\hat{y}y^​：预测值，nnn：样本数 一、分类模型的度量 1.accuracy（准确率） 预测正确的样本占全部样本的比例，公式为： accuracy(y,y^)=1n∑i=0n...
UC伯克利：用大模型预测未来，准确率超越人类！
最新发布
夕小瑶科技说
03-15 649
近年来，语言模型在文本生成、翻译、情感分析等领域大放异彩，但利用语言模型做预测的任务还比较少。这里的预测任务指的是根据现有情况预测还未发生的结果，比如“明天会下雨吗？”、“4月1号前GPT-5会发布吗？其实文本生成本质上也是一种预测，根据输入的文本序列，预测下一个单词或字符。这样看来大语言模型天然就适合做预测任务。事实真的如此吗？今天介绍的这篇文章通过实验结果告诉我们，且与人类预测水平还有一定的差距。因此，本文沿着改善大模型的预测能力展开研究。简单来说，模型，因此作者增加了多阶段丰富的检索增强过程。
基于四种决策树实现预测大气污染日的概率模型项目源码+数据+超详细注释.zip
12-02
基于四种决策树实现预测大气污染日的概率模型项目源码+数据+超详细注释 任务：根据环境数据，预测当天是不是大气污染日 内容包含： 1.本程序使用了四种模型进行预测，并对四种模型预测效果进行评估测试，分别是： 袋装决策树（BaggingClassifier） 额外决策树（ExtraTreesClassifier） 随机梯度提升（GradientBoostingClassifier） 随机森林（RandomForestClassifier） 2.本程序通过对例4中的梯度提升模型调整参数，来提高预测的准确率。分别调整了深度，学习率，采样集，和树数，通过brier skill score值来评价结果
52things:您应该了解的有关地理计算的52件事
05-13
52件事 您应该了解的有关地理计算的52件事 这是收集有关地理计算的52篇文章的第二次尝试。 两年多以前 。 这次我们可以做到！ 作者，请参阅。 审稿人，请参阅。 提交的评论 事物 作者 工作职称 审核者 1个 马丁·本特利 赞美小工具 2个 马丁·本特利 最佳实践不是最好的... 3 奥斯汀·宾汉（Austin Bingham） 地理计算中的领域驱动设计 4 本·鲍格（Ben Bougher） Am = d：线性代数方法... 5 伯特·布里尔 将颜色放在数据上 6 Caumon＆Levy 地质是笛卡尔的吗？ 7 杰斯珀·德拉姆施（Jesper Dramsch） 通用GPU编程 8 克里斯·恩嫩 软件，无处不在的软件 9 谢尔盖·福梅尔（Sergey Fomel） 可重复的研究 10 公克 地震数据加密 11 高斯 站在肩膀上... 12 戴夫·
Mouse_WOI:鼠标广角光学成像处理工具箱
03-31
鼠标_WOI 鼠标广角光学成像处理工具箱 该软件将用于处理介观鼠标的广域光学数据。 假设数据是一个图像堆栈，像素x像素x帧。 如有任何疑问/潜在错误，请联系Lindsey Brier： 。 最后更新时间：21/11/3。 当前正在更新，以进行高分辨率扫描。 GitHub5（版本5） Mouse_Master * .m：执行各种类型分析的包装程序脚本。 每个开始都相同，以Mouse_Master_Proc.m为例： 首先，编辑下面显示的第7行，将其作为软件主目录的路径。 将第10行编辑为excel文件名（以下说明excel文件）。 将第11行编辑为要处理的excel文件中的行。 第23行上的image_system_info.m是为成像系统'fcOIS3'和'fcOIS2'设置的。在excel文件的“系统”字段中指定，如下所述。 如果要从其他成像系统运行数据，请使用新的光学仪器
sklearn学习-朴素贝叶斯（二）
weixin_42856170的博客
02-25 1697
sklearn学习-朴素贝叶斯（二）
机器学习-sklearn第十五天——笔记
weixin_45649258的博客
03-22 1503
目录朴素贝叶斯（下）2.2 概率类模型的评估指标2.2.1 布里尔分数Brier Score2.2.2 对数似然函数Log Loss2.2.3 可靠性曲线Reliability Curve2.2.4 预测概率的直方图2.2.5 校准可靠性曲线2.3 多项式朴素贝叶斯以及其变化2.3.1 多项式朴素贝叶斯MultinomialNB2.3.2 伯努利朴素贝叶斯BernoulliNB2.3.3 探索贝叶斯：贝叶斯的样本不均衡问题2.3.4 改进多项式朴素贝叶斯：补集朴素贝叶斯ComplementNB3 案例：贝叶
如何定量评价calibration曲线：Brier 评分和slope
Dstern123的博客
09-12 1298
如果模型预测为0.7（70%的死亡可能性），并且确实死亡，则差异为0.7-1 =-0.3。如果模型预测为1（预测这个患者死亡可能性是100%），并且确实死亡，则差异为1-1 =0。预测和实际之间没有差异，预测得非常准。Brier评分是评价模型的准确性，比如说想预测一批心衰患者的死亡率，Brier指数衡量模型预测的死亡可能性和实际患者的结局之间的差异。Brier评分高于0.25表明模型的预测不太准确，可能需要改善，Brier评分越高，模型预测的准确性就越差。：根据建立的预测模型，预测患者死亡的概率。
7.评价预测模型——Calibration校准曲线
Dr_long1996的博客
01-14 2991
Calibration校准曲线：就是将实际发生率和预测发生率绘制的散点图。是对Hosmer-Lemeshow拟合优度检验的结果可视化。基本原理：首先利用列线图预测每位研究对象的预测值，并将其按从低到高的顺序排列，根据四分位数将队列分为4组（或者根据其他分位数分组），然后分别计算每组研究对象的预测值和相应的实际值得均值，并将两者结合起来作图得到4个校准点，最后将这4个校准点连接起来得到预测校准曲线。
awesome-risk-quantification:很棒的项目，博客文章，书籍和关于量化风险的讲座的集合
03-19
很棒的风险量化 风险量化尝试为风险分配数字值，而不是定性标签（例如“关键”和“高”）。 这样可以更轻松地确定我们需要减轻的各种风险的优先级。此外，“您无法改善无法衡量的内容”！ 该存储库主要关注与网络安全相关的风险。 开源项目 来自爱达荷州国家实验室的“灵活多用途不确定性量化，回归分析，概率风险评估，数据分析和模型优化框架” 来自Netflix的使用不同分布来计算风险的库 -基于R软件包，用于定量风险评估 -用于“进行定量风险评估访谈”的R包 博客文章和论文 7种技术-描述我在研究风险量化时想出或发现的7种技术，用于估计不良事件的频率 -演示如何使用他们的库 -讨论了HackerOne如何使用与漏洞赏金相关的指标（例如解决时间）来确定某些安全计划的优先级 -关于Atlassian如何预测发现红队运营机会的帖子，目的是随着时间的推移提高发现率。 -涵盖方案，校准，面板，Brier分数，蒙特
论文研究 - 预测缺血性卒中后的死亡率和功能结局：预后模型的外部验证
05-25
背景：我们先前开发了缺血性卒中后3个月死亡率和改良的兰金评分（mRS）的预测模型。 目的：目的是在两个独立的数据集中测试缺血性卒中后3个月死亡率和mRS的模型有效性。 方法：我们的推导模型使用了1999年参与大辛辛那提/北肯塔基中风研究（GCKNSS）的451名缺血性中风患者的数据。 我们通过GCKNSS利用两个独立的缺血性卒中队列（2005年为460个，2010年为504个）通过使用预测值和观察值之间的一致性，校正和歧视的测量值来评估外部有效性，该方法使用针对个体预后的多变量预测模型的透明报告或诊断。 结果：3个月死亡率模型在验证数据集中表现良好，2005年的平均预测误差（Brier得分）为0.045，2010年的平均预测误差（Brier分数）为0.053，并且在0.86的曲线下面积具有出色的判别力（95％CI：0.79，0.93） ）在2005年为0.84（2010年为0.84（0.76，0.92））。预测的3个月mRS在验证数据集中的效果也很好，2005年的R2为0.57，2010年的R2为0.50，2005年的均方根误差为0.85，2010年的均方根误差为1.05。在两个验证数
第四节贝格斯-布里尔方法.ppt
09-26
第四节贝格斯-布里尔方法.ppt
限流元件电阻器的基本原理与应用
08-09
甘布里尔和A.哈里斯用含碳墨汁制成碳膜电阻器。1913～1919年英国W.斯旺和德国F.克鲁格先后发明金属膜电阻器。1925年德国西门子- 哈尔斯克公司发明热分解碳膜电阻器，打破了碳质实芯电阻器垄断市场的局面。
matlabhill代码-hastac_2015_bof_cuny:我在纽约市立大学关于自由软件的BoF会议上的资料
05-24
Matlab Hill代码什么是CUNY？ 纽约城市大学 美国最大的市政大学系统 ...Council）的一员，是在学校，工作场所和日常生活中学习和职业发展的新思想和方法的领先创新者。 纽约市立大学学生的人口统计资料 收入
texton：DK-CLARIN项目中启动的工具箱。 现在称为“文本tons”
02-16
Text Tonsorium用于自然语言处理的沙龙Text Tonsorium是一个Web应用程序，它不仅执行工作流，而且还由构件块组成工作流。...参考书目布里尔标记器引用：埃里克·布里尔（Eric Brill）。 1992。一个简单的基
jibril:可以改善记忆力的CLI
05-16
吉布里尔 Jibril CLI通过其概念可以帮助您改善单词的长期记忆。这个怎么运作？ 打开终端并输入： $ jibril --add 您可以添加一个词，然后添加这个词的概念。 这个词将分为四个阶段： 在第一个阶段，系统会每天询问该...
朴素贝叶斯及概率类模型评估指标
weixin_60200880的博客
02-24 1249
class sklearn.naive_bayes.GaussianNB(priors=None,var_smoothing=1e-09) 高斯朴素贝叶斯，通过假设是服从高斯分布（也就是正态分布）来估计每个特征每个类别的条件概率。对于每个特征下的取值，高斯朴素贝叶斯有如下公式：对于任意一个Y的取值，贝叶斯都以求解最大化的为目标，这样才能够比较在不同标签下样本究竟更靠近哪一个取值。以最大化为目标，高斯朴素贝叶斯会为我们求解公式中的，求解出参数后，带入一个的值，就能够得到一个的概率取值。
R语言中针对所有生存模型的综合布里尔得分的算法代码详解！通用的，尤其是模型中没有type参数
05-24
在R语言中，我们可以使用survival包中的survivalROC函数来计算综合布里尔得分。该函数可以计算各种生存模型的综合布里尔得分，而无需指定type参数。 以下是一个示例代码，展示如何使用survivalROC函数计算综合布里尔得分： ``` library(survival) # 创建生存数据 data(lung) lung$status <- ifelse(lung$status==1, 0, 1) # 拟合Cox比例风险模型 cox_model <- coxph(Surv(time, status) ~ age + sex + ph.ecog, data=lung) # 预测生存概率 lung$cox_prob <- predict(cox_model, type="lp") lung$cox_prob <- exp(lung$cox_prob)/(1+exp(lung$cox_prob)) # 计算综合布里尔得分 roc <- survivalROC(Surv(time, status) ~ cox_prob, data=lung, predict.time=seq(0, 60, by=1)) cindex <- roc$C brier_score <- roc$Brier ``` 首先，我们使用survival包中的data函数加载一个名为lung的生存数据集。然后，我们将status变量替换为逆变量（原始变量为1表示事件发生，0表示事件未发生，我们将其转换为1表示事件未发生，0表示事件发生），以便计算综合布里尔得分。接下来，我们使用coxph函数拟合一个Cox比例风险模型。然后，我们使用predict函数预测每个观察值的生存概率，并将其存储在cox_prob变量中。最后，我们使用survivalROC函数计算综合布里尔得分，其中predict.time参数用于指定预测生存概率的时间点。在这个例子中，我们使用0到60之间每一年的时间点进行预测。计算完成后，我们可以使用roc$C和roc$Brier分别获取C-index和综合布里尔得分的值。 需要注意的是，survivalROC函数假定生存数据集中的事件时间是单调递增的。如果事件时间不是单调递增的，则需要先对数据进行排序，以确保时间的单调性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值