推荐模型评价指标 AUC

最新推荐文章于 2024-06-30 19:38:35 发布
最新推荐文章于 2024-06-30 19:38:35 发布
阅读量3.6k 收藏 13
点赞数 3
分类专栏： 推荐系统 文章标签： 模型评价指标 AUC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thormas1996/article/details/90443893
版权
本文详细介绍了AUC作为推荐模型评价指标的含义，AUC的计算方法包括ROC曲线下的面积，并通过ROC曲线解释了不同阈值对真正类率和假正类率的影响，帮助理解AUC在衡量分类算法性能中的作用。
摘要由CSDN通过智能技术生成

推荐中常用的模型评价指标有准确率，召回率，F1-score和AUC。

1. 什么是AUC

AUC指标是一个[0,1]之间的实数，代表如果随机挑选一个正样本和一个负样本，分类算法将这个正样本排在负样本前面的概率。值越大，表示分类算法更有可能将正样本排在前面，也即算法准确性越好。

2. AUC的计算方法
  • 绘制ROC曲线，ROC曲线下面的面积就是AUC的值
  • 假设总共有（m+n）个样本，其中正样本有m个，负样本有n个，则共有m*n个样本对。如果正样本预测为正样本的概率值大于负样本预测为正样本的概率值记为1，反之为0，求和后除以（m*n）就是AUC的值
  • 对所有样本进行打分，按分数排序，第一名的rank为m+n，第二名的rank为m+n-1，往后依次递减，则 A U C = ∑ i ∈ 正 样 本 r a n k i − m ( 1 + m ) 2 m × n {AUC = \frac{\sum_{i \in 正样本} rank_i - \frac{m(1+m)}{2}}{m \times n}} AUC=m×n∑i
最低0.47元/天 解锁文章
thormas1996
关注
专栏目录
【王喆-推荐系统】评估篇-(task2)推荐模型评估指标
发现问题，并解决问题，批判性思维
11-11 1518
学习总结 学习了模型离线评估中使用的评估指标。分成了两部分，简单直接的低阶评估指标，还有复杂全面的高阶评估指标。 低阶评估指标主要包括准确率，精确率，召回率和均方根误差。准确率是指分类正确的样本占总样本个数的比例，精确率指的是分类正确的正样本个数占分类器判定为正样本个数的比例，召回率是分类正确的正样本个数占真正的正样本个数的比例，而均方根误差的定义是预测值跟真实值之间差值的均方根。 高阶指标包括 P-R 曲线，ROC 曲线和平均精度均值。P-R 曲线的横坐标是召回率，纵坐标是精确率；ROC 曲线的横坐标是
【推荐系统】1. 模型评价指标
阿泽的学习笔记
12-05 1894
1. 指标介绍 评测推荐系统的好坏有多种指标，包括：用户满意度、预测准确度、覆盖率、多样性、新颖性、惊喜度、实时性、健壮性等等。 1.1 用户满意度： 该指标主要通过问卷调查获得。 在线系统中用户满意度主要通过对用户行为的统计得到比如：购买率、满意不满意反馈按钮、点击率、用户停留时间、转换率等等反馈获得。 1.2 预测准确度 预测准确度是离线评测中最重要的指标。 在对用户进行评分预测时，主要通过计...
推荐算法评价指标 AUC
console.log(**)的博客
04-22 293
整理几篇好的对AUC的理解 1， https://www.infoq.cn/article/vc71ssa0ug439bxm2kno AUC 更关注前后排序，更适合推荐精排 例如0.7的AUC，其含义可以大概理解为：给定一个正样本和一个负样本，在70%的情况下，模型对正样本的打分高于对负样本的打分。可以看出在这个解释下，我们关心的只有正负样本之间的分数高低，而具体的分值则无关紧要。 2， https://zhuanlan.zhihu.com/p/73335362 这个带图解释更清楚 ...
常见的模型评估指标与方法大全、汇总_常用评价模型指标
最新发布
2401_85379281的博客
06-30 412
简单的讲，模型评估就是评估训练好的模型的好坏。本文主要目的是汇总常见的各种指标。至于每个指标的含义以及各自的代码示例，将在后续的章节详解介绍。模型评估是对训练好的模型性能进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。
推荐算法评价指标(ACC、查全率、查准率、F1-Score、ROC、AUC,P-R)
热门推荐
traveler-leon的博客
04-27 1万+
推荐系统的评价指标很多，今天介绍：准确率(ACC)、查准率(P精确率)、查全率(R召回率)、F1-score、ROC、AUC
推荐中的评估指标：AUC、GAUC
WGS.
09-02 2765
文章目录混淆矩阵ROC曲线AUC求解AUCGAUC：Group AUCGAUC代码 本文将介绍一下分类任务中的一个非常重要的评估指标：AUC，以及针对AUC的不足引出的另一指标：GAUC。 混淆矩阵 TP：表示正确拒绝的样本数（坏样本要拒绝） FP：表示误报的样本数，即被错误拒绝的样本数（错的记成正的） FN：表示漏报的样本数，即被错误准入(错误的拒绝了)的样本数（正例预测成负例，好样本没有准入，正例的少了，召回的少了）（好的少了，好的记成错的） TN：正确准入的样本数 TP是真1；FP是假1；FN
模型评估指标AUC
泡泡龙的泡泡
11-14 6343
模型评估指标AUC 、 AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。 AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆
auc到多少有意义_对模型评价指标AUC的理解
weixin_35998457的博客
01-13 7251
AUC是一种衡量机器学习模型分类性能的重要且非常常用的指标,其只能用于二分类的情况.AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率( :-) 没办法这句话就是这么绕, rap~).AUC作为数值,那么到底是怎么来的?怎么理解它的意义?在真正接触AUC之前,还需要了解两个概念, 分别是混淆矩阵(confusion matrix)...
为什么搜索与推荐场景用AUC评价模型好坏？.pdf
08-12
AUC评价模型是搜索与推荐场景中一个非常重要的评估指标。AUC评价模型的优缺点在于它能够反映模型预估样本之间的排序关系，具有很强的排序能力，且可以直接使用score本身，参考的是相对顺序，更加好用。但是AUC评价...
classifier_D.rar_AUC_svm accuracy_分类评价指标_灵敏度代码_预测模型
07-14
使用SVM分类器来预测...分类器构建)，评价模型时使用无被交叉验证，性能评价指标包括准确率，AUC，灵敏度，特异度。学会最基本的机器学习方法。可查看分发给大家的代码，以后遇到类似的问题，可用相似的思路和代码。
机器学习推荐系统评价指标之AUC
TheChosen1LBJ的博客
02-15 2805
使用CSDN-markdown编辑器综述新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 综述 你好！ 这是你第...
推荐算法常用评价指标
凝眸伏笔的博客
04-24 5460
1 混淆矩阵 参考链接： 1.https://blog.csdn.net/qq_40006058/article/details/89432773?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevan...
推荐系统与深度学习（十二）——模型评估指标
数据森麟
09-15 507
公众号后台回复“图书“，了解更多号主新书内容作者：livan来源：数据python与算法评估模型介绍经过千辛万苦，终于完成了特征工程、模型构建和模型训练部分，那么，模型效果如何呢？我们需...
ROC曲线和AUC，推荐系统中常用AUC作为排序模型的评估指标
m0_48086806的博客
06-13 997
ROC曲线和AUC，推荐系统中常用AUC作为排序模型的评估指标
推荐系统之ROC和AUC详解
qq_38375203的博客
07-21 2636
这个绝对是重量级内容了，也是很基础的东西。对于模型来讲，不同的阈值会有不同的泛化能力，这时候，如果想比较两个模型的泛化能力，这个阈值的高低也会受到影响，所以就需要能够综合考虑着所有阈值下的模型的泛化性能，这样还可以使得模型适应与不同的任务，那这时候应该怎么评估模型呢？ROC曲线是常用的工具。在这里和我们前面说过的PR曲线是类似的（mAP）,但是在之前的PR曲线中横纵坐标是查准率和查全率。目标检测指标mAP详解。............
【回顾】推荐系统的十二大评价指标总结
m0_37586850的博客
08-02 2023
一、准确率指标该类型的指标大部分是推荐算法优化的目标，衡量着推荐算法的优劣。1、准确率。推荐给用户的商品中，属于测试集的比例，数学公式如下：整个测试集的准确率为：...
为什么搜索与推荐场景用AUC评价模型好坏？
夕小瑶科技说
07-21 1067
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |吴海波在互联网的排序业务中，比如搜索、推荐、广告等，AUC（Area under the Curve of ROC）是一...
推荐系统中BPR损失及对应的AUC计算
beginerToBetter的博客
08-21 5979
AUC: AUC是而分类模型中使用的主要离线评测指标，其不关注具体的得分，只关注排序结果。 AUC指标有两种解释方法： 1.“曲线下面积” 2.排序能力 （若AUC=0.7,则可理解为：给定一个正样本和一个负样本，在70%的情况下模型对正样本的打分高于对负样本的打分，在这个解释下我们关心的只有正负样本之间分数的高低而具体的分值无关紧要） BPR损失： 该损失考虑用户物品交互中的可观察项和不可观察项的相对顺序，BPR假定更能反映出用户偏好的可观察项的交互相较于那些不可观察项来说应该赋予高的预测值 关键代码
卷积神经网络模型评价指标
05-01
卷积神经网络（Convolutional Neural Network，CNN）是一种常用于图像处理和计算机视觉任务的深度学习模型。对于CNN模型的评价指标，常见的包括以下几个方面： 1. 准确率（Accuracy）：准确率是最常用的评价指标之一，表示模型在所有样本中正确分类的比例。计算公式为：准确率 = 正确分类的样本数 / 总样本数。 2. 精确率（Precision）：精确率衡量了模型在预测为正类的样本中，真正为正类的比例。计算公式为：精确率 = 真正为正类的样本数 / 预测为正类的样本数。 3. 召回率（Recall）：召回率衡量了模型在所有真正为正类的样本中，预测为正类的比例。计算公式为：召回率 = 真正为正类的样本数 / 所有真正为正类的样本数。 4. F1值（F1-score）：F1值是精确率和召回率的调和平均值，综合考虑了模型的准确性和召回性能。计算公式为：F1值 = 2 * (精确率 * 召回率) / (精确率 + 召回率)。 5. ROC曲线和AUC值：ROC曲线是以假正例率（False Positive Rate，FPR）为横轴，真正例率（True Positive Rate，TPR）为纵轴绘制的曲线。AUC值（Area Under Curve）表示ROC曲线下的面积，用于评估模型的分类性能，AUC值越大表示模型性能越好。 6. 混淆矩阵（Confusion Matrix）：混淆矩阵是一种可视化评价指标，用于展示模型在不同类别上的分类结果。它以真实类别和预测类别为基础，将样本分为真正例、假正例、真反例和假反例四个类别，可以直观地了解模型的分类情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值