推荐算法评价指标 AUC

最新推荐文章于 2024-10-22 16:00:29 发布
最新推荐文章于 2024-10-22 16:00:29 发布
阅读量330 收藏 1
点赞数
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39285712/article/details/116012512
版权

整理几篇好的对AUC的理解

1， https://www.infoq.cn/article/vc71ssa0ug439bxm2kno

AUC 更关注前后排序，更适合推荐精排

例如0.7的AUC，其含义可以大概理解为：给定一个正样本和一个负样本，在70%的情况下，模型对正样本的打分高于对负样本的打分。可以看出在这个解释下，我们关心的只有正负样本之间的分数高低，而具体的分值则无关紧要。

2， https://zhuanlan.zhihu.com/p/73335362

这个带图解释更清楚

精通推荐算法5：推荐算法评价体系
谢杨易的博客
01-13 4401
推荐算法评估指标比较复杂，可以分为离线和在线两部分。召回、粗排、精排和重排由于定位区别，其评估指标也会有一定区别，下面详细讲解。
推荐算法炼丹笔记：推荐系统采样评估指标及线上线下一致性问题
炼丹笔记
11-08 1069
本文对于推荐系统中的采样评估指标进行了讨论，内容略多, 还有一些数学推导, 有兴趣的可以去阅读文末给出的原始论文链接, 此处直接列出核心观点：在评估推荐算法的效果时,能不采样就不采样！除了AUC,Precision@K,Recall@K,Average Precision,NDCG都是不一致的,采样计算得到的结果和真实结果可能差很大!现在随机采样计算得到的评估指标的分数具有高偏差，低方差的问题，很...
推荐模型评价指标 AUC
thormas1996的博客
05-22 3730
推荐中常用的模型评价指标有准确率，召回率，F1-score和AUC。 1. 什么是AUC AUC指标是一个[0,1]之间的实数，代表如果随机挑选一个正样本和一个负样本，分类算法将这个正样本排在负样本前面的概率。值越大，表示分类算法更有可能将正样本排在前面，也即算法准确性越好。 2. AUC的计算方法 绘制ROC曲线，ROC曲线下面的面积就是AUC的值 假设总共有（m+n）个样本，其中正样本有m个...
ROC曲线和AUC，推荐系统中常用AUC作为排序模型的评估指标
m0_48086806的博客
06-13 1196
ROC曲线和AUC，推荐系统中常用AUC作为排序模型的评估指标
【推荐系统】模型评价指标AUC、GAUC解释[附Python实现代码]
最新发布
qq_57161038的博客
10-22 494
推荐系统：模型评价指标AUC、GAUC解释[附Python实现代码]
推荐算法中模型评估标准——AUC和 NE
蚂蚁搬家
07-26 8365
广告电商等推荐算法中，评估模型质量的指标，目前用的较多的有：AUC，NE, Bias. AUC(area under curve):  名字曲线下面积，曲线指的的是ROC曲线，ROC曲线如下图（a）所示，其中横坐标是假正率（负样本预测为正的比率），纵坐标是真正率（正样本预测为正的比率），很显然，假正率越低同时真正率越高的越好。但这些比率和分类阈值有关，相关比率曲线如图（b），阈值取得越低，更多的...
广告推荐算法（group auc）评价指标及Spark实现代码
Littleree的博客
01-02 937
我们曾经有这样的疑惑，那就是训练样本，AUC得到提升。当将新模型放到线上后，却发现实际效果却没有老模型好，这时候很多人就开始疑惑了。 ​ 在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击的样本当作正样本，没有点击的样本当作负样本，把这个任务当成一个二分类进行处理，最后模型输出的是样本是否被点击的概
推荐系统之ROC和AUC详解
qq_38375203的博客
07-21 2698
这个绝对是重量级内容了，也是很基础的东西。对于模型来讲，不同的阈值会有不同的泛化能力，这时候，如果想比较两个模型的泛化能力，这个阈值的高低也会受到影响，所以就需要能够综合考虑着所有阈值下的模型的泛化性能，这样还可以使得模型适应与不同的任务，那这时候应该怎么评估模型呢？ROC曲线是常用的工具。在这里和我们前面说过的PR曲线是类似的（mAP）,但是在之前的PR曲线中横纵坐标是查准率和查全率。目标检测指标mAP详解。............
推荐评价指标之AUC
qq_20599123的专栏
06-04 3240
定义AUC的英文名称为Area under the ROC curve，即为ROC曲线下的面积。ROC曲线一般被用来评价某种分类器的分类效果。Steffen Rendle在他的经典文章BPR1中就利用AUC来评价BPR算法的预测效果。公式 在BPR文章的评价方法中，作者使用了留一法(Leave one out)评价方法：即对每个用户，从他的评分记录中随机抽取一个评分记录放入测试集，剩下的评分记录作为
AUC算法.rar_AUC_AUC和AUC24_分类算法AUC_单分类算法_药时曲线下面积
09-25
在这样的数据集上，准确率和召回率等指标可能会受到样本分布的影响，而AUC则能提供更全面的评价。 在医药领域，药时曲线下面积（AUC24）常用来描述药物在体内的药效时间过程。它通常用于评估药物的生物利用度，即...
对AUC的理解
march_on的专栏
09-23 2170
auc是常见的对二类分类器的评价指标,其大小等于ROC曲线下的面积。ROC曲线的横坐标为false postive rate（fpr),纵坐标为true positive rate(tpr)， false postive rate的计算法公式: fpr=fpfp+tn fpr=\frac{fp}{fp+tn} 其中，fp表示false positive，即负例被分成正例的个数，tn表示tru
算法衡量auc_推荐系统rank模块-多?标排序算法(一)
weixin_39828198的博客
01-02 339
多⽬标排序介绍为什么要有多⽬标排序：⼯业界推荐系统多基于隐式反馈• Global bias：不同⽬标表达不同的偏好程度；• Item bias：单个⽬标衡量不全⾯（标题党）；• User bias：⽤户表达满意度的⽅式不同；• 综合⽬标收益最⼤化多⽬标排序流程多⽬标排序的难点：多⽬标 vs CTR预估；• 部分⽬标数据稀疏，模型准确率低；• 在线服务计算量⼤；• 多个⽬标间重要性难以量化；• 分...
为什么搜索与推荐场景用AUC评价模型好坏？
夕小瑶科技说
07-21 1129
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |吴海波在互联网的排序业务中，比如搜索、推荐、广告等，AUC（Area under the Curve of ROC）是一...
推荐系统评价指标/ROC/AUC（附代码）
qq_43288397的博客
03-15 772
P-R曲线上一个点代表着，某一阈值下，模型将大于该阈值的结果判为正样本，小于该阈值的为负样本，此时返回结果对应的召回率和精确率。从计算概率的角度理解AUC，随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到。一共有MxN对样本（一对样本即，一个正样本与一个负样本），先统计这MxN对样本里，正样本的预测概率大于负样本的预测概率的个数。在（D,B）样本对中，正样本D预测的概率大于负样本B预测的概率（也就是D的得分比B高），记为1。曲线A完全包住曲线B，那么A好。
推荐中的评估指标：AUC、GAUC
WGS.
09-02 2985
文章目录混淆矩阵ROC曲线AUC求解AUCGAUC：Group AUCGAUC代码 本文将介绍一下分类任务中的一个非常重要的评估指标：AUC，以及针对AUC的不足引出的另一指标：GAUC。 混淆矩阵 TP：表示正确拒绝的样本数（坏样本要拒绝） FP：表示误报的样本数，即被错误拒绝的样本数（错的记成正的） FN：表示漏报的样本数，即被错误准入(错误的拒绝了)的样本数（正例预测成负例，好样本没有准入，正例的少了，召回的少了）（好的少了，好的记成错的） TN：正确准入的样本数 TP是真1；FP是假1；FN
AUC的两种计算方式
热门推荐
凝眸伏笔的博客
08-02 2万+
推荐 搜索场景下的auc理解_凝眸伏笔的博客-CSDN博客_搜索auc随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率。TPRate的意义是所有真实类别为1的样本中，预测类别为1的比例。：真正率FPRate的意义是所有真实类别为0的样本中，预测类别为1的比例。：假正率AUC的优势:AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。...
推荐算法评价指标(ACC、查全率、查准率、F1-Score、ROC、AUC,P-R)
traveler-leon的博客
04-27 1万+
推荐系统的评价指标很多，今天介绍：准确率(ACC)、查准率(P精确率)、查全率(R召回率)、F1-score、ROC、AUC
机器学习面试题——评价指标
weixin_46838716的博客
04-20 2700
各种评价指标要熟悉，不然做科研这么久，怎么评价的都不知道，肯定不行
推荐算法评价指标 代码
05-26
一些常见的算法评价指标包括： 1. 准确率（Accuracy）：分类正确的样本占总样本的比例。 2. 精确率（Precision）：分类为正样本中真正为正样本的比例。 3. 召回率（Recall）：正样本中被分类为正样本的比例。 4. F1分数（F1-score）：精确率和召回率的加权调和平均数。 5. ROC曲线和AUC值（ROC curve and AUC value）：ROC曲线反映了分类器在不同阈值下的性能表现，AUC值表示ROC曲线下的面积。 6. 混淆矩阵（Confusion matrix）：展示分类器性能表现的矩阵。 7. 平均准确率（Average Precision）：用于评价在不同召回率下的分类器表现。 以下是 Python 代码实现这些指标： ```python from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_curve, auc, confusion_matrix, average_precision_score # 计算准确率 accuracy = accuracy_score(y_true, y_pred) # 计算精确率 precision = precision_score(y_true, y_pred, average='binary') # 计算召回率 recall = recall_score(y_true, y_pred, average='binary') # 计算F1分数 f1 = f1_score(y_true, y_pred, average='binary') # 计算ROC曲线和AUC值 fpr, tpr, thresholds = roc_curve(y_true, y_pred) roc_auc = auc(fpr, tpr) # 计算混淆矩阵 conf_matrix = confusion_matrix(y_true, y_pred) # 计算平均准确率 ap = average_precision_score(y_true, y_pred) ``` 其中，`y_true`为真实标签，`y_pred`为预测标签。在计算精确率、召回率、F1分数时，`average='binary'`表示只考虑二分类问题。如果是多分类问题，可以设置`average='macro'`或`average='weighted'`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>