NDCG、AUC介绍

最新推荐文章于 2024-09-27 09:18:58 发布
最新推荐文章于 2024-09-27 09:18:58 发布
阅读量2w 收藏 10
点赞数 3
分类专栏： 推荐算法 文章标签： NDCG AUC ROC曲线
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014313009/article/details/38944687
版权
本文介绍了在SIGIR论文中提到的NDCG和AUC两个评估推荐算法效果的指标。NDCG是Normalized Discounted Cumulative Gain的缩写，用于衡量检索系统的排序质量；AUC则是Area Under the ROC Curve的简称，它表示分类器对正负样本区分的能力。通过对这两个概念的探讨，有助于理解推荐系统评价的深度。
摘要由CSDN通过智能技术生成

SIGIR的一篇推荐算法论文中提到用NDCG和AUC作为比较效果的指标，之前没了解过这两个指标，便查找相关概念，整理如下。

 

一、NDCG
1.DCG
       首先，介绍一下DCG。DCG的全称是Discounted Cumulative Gain，它是衡量搜索引擎算法的一个指标。搜索引擎一般采用PI（per item）的方式进行评测，即逐条对搜索结果进行等级的打分。比如在Google搜索到一个词，得到5个结果。我们对这些结果进行3个等级的区分：Good、Fair、Bad，对应的分值分别是3、2、1。假设这5个结果的分值分别是3、1、2、3、2。
       使用DCG这个统计方法有两个前提：
        (1) 在搜索页面中，相关度越高的结果排在前面越好。
       (2) 在PI标注时，等级高的结果比等级低的结果好。
在一个搜索结果的list里面，假设有两个结果的评级都是Good，但是第一个排在第一位，第二个排在第40位，虽然等级是一样的，但排在40位的那个结果被用户看到的概率比较小，对整个页面的贡献也要比第一个结果小很多。所以第二个结果的得分应该有所减少。DCG的计算公式如下：
其中，
最低0.47元/天 解锁文章
算法衡量auc_排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_34640844的博客
12-24 949
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和...
NDCG及其实现
平平淡淡，戒急用忍，一生学闭嘴。
07-08 1089
1、NDCG的目标：希望得到的排序列表，质量越高越好。并且，如果将更相关的排到更前面，那么计算得到的NDCG是会越高的。 AUC和NDCG的区别： 1、AUC的含义：把正样本排在负样本前的概率。AUC关注的是全局的排序，只要正样本排在负样本之前，就可以得分。并没有加权。 2、NDCG也是关注排序，但是NDCG关注的是，加权排序。比如我们希望top10的排序准确度，要比bottom10的排序准确度重要。对于这种加权排序，NDCG会更加合适。 因此，AUC和NDCG的区别是，加权与否。AUC的评估中，top
排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_38405636的博客
06-13 2万+
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下...
论文笔记——Graph Bottlenecked Social Recommendation
最新发布
保持学习
09-27 1214
论文精度及其代码复现——Graph Bottlenecked Social Recommendation
搜索评价指标——NDCG
jingshuiliushen_zj的博客
10-11 5167
概念 　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想： 　　1、高关联度的结果比一般关联度的结果更影...
IR常用评价指标计算方式（AUC,MAP,NDCG,MRR，Precision、Recall、F-score）
ance_xiaojia的博客
11-22 8369
AUC,MAP,NDCG,MRR，Precision、Recall、F-score 1.AUC（Area Under Curve） ROC曲线下方的面积大小,由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。 首先AUC值是一...
通俗举例讲解评价指标—recall、precision、ndcg，hit，auc
zhao254014的博客
04-17 7805
通俗举例讲解评价指标—recall、precision、ndcg，Popularity、coverage推荐系统中的常用指标，其他的陆续会加入进去,关于评价指标的讲述
介绍评价指标NDCG、AUC、ACC、Precision、Recall
07-27
以下是对评价指标NDCG、AUC、ACC、Precision和Recall的简要介绍： 1. NDCG (Normalized Discounted Cumulative Gain)：NDCG是用于衡量排序算法性能的指标，常用于评估推荐系统的排序质量。它考虑了推荐列表中每个...
NDCG = Metric.NDCG(origin, predicted, n) indicators.append('NDCG:' + str(NDCG) + '\n') # AUC = Measure.AUC(origin,res,rawRes) # measure.append('AUC:' + str(AUC) + '\n') measure.append('Top ' + str(n) + '\n') measure += indicators解释这段代码
07-10
这段代码计算了一些评估指标，并将结果添加到 `indicators` 和 `measure` 这两个列表中。下面是对每行代码的解释： 1. `NDCG = Metric.NDCG(origin, ...请注意，代码中的 AUC 相关的行已经被注释掉了，所以不会执行。
离线与在线auc不一致问题
来自Daisy和她的单程车票
03-21 1348
阅读论文：Predictive Model Performance: Offline and Online Evaluations 1、离线AUC、RIG有迷惑性（线上线下不一致） 、auc忽略了预测得分，只关注顺序(正样本排在负样本之前) auc 越高并不意味着有更好的排序 AUC不能区分ROC空间的各个区域，所以仅通过优化数据两端的模型性能就可以训练模型以最大化AUC分数。 实际上，高估pClick得分范围内的点击概率比低估pClick得分范围时对在线性能的影响要小 低pClick范围内pClick得分
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
热门推荐
十三
04-21 9万+
1 混淆矩阵 TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正； FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正； FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负； TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负. 其中，TP与TN表示分类正确...
常用推荐系统评测指标
weixin_46351593的博客
06-05 3643
本文作为我学习推荐算法时的学习笔记，来总结一些推荐系统中的评测指标通常推荐系统的评测方法有四种：。本文主要介绍线下评测，线下评测是推荐系统的，通常有两种评测方式，一种是，一种是。（1）是一种军事演习式的测试。模拟测试当然无法代替真实数据，但是也能暴露一些问题。通常做法是先收集业务数据，也就是根据业务场景特点，构造用户访问推荐接口的参数。这些参数要尽量还原当时场景，然后拿这些参数数据去实时访问推荐推荐，产生推荐结果日志，收集这些结果日志并计算评测指标，就是离线模拟测试。
推荐系统的评价指标笔记（NDCG、MAP、AUC、HR、MRR）
pocket_eight的博客
09-27 4502
NDCG Normalized Discounted Cummulative Gain 累积增益CG，CG表示每个推荐结果相关性的分数的累加， CGk=∑i=1kr(i)CG_k=\sum_{i=1}^kr(i)CGk​=i=1∑k​r(i) 其中relirel_ireli​是位置iii的推荐结果的相关性，kkk是推荐列表的大小. 如果我们考虑到位置对推荐的影响，比如，相关性高的应该尽量排在推荐列表的前面。这里引入DCG，考虑位置的影响因素： DCGk=∑i=1kr(i)log⁡2(i+1)DCG_k=\s
推荐系统常见评测标准之MAP与NDCG
Liu-Cheng Xu
08-24 1万+
MAPAP在了解MAP(Mean Average Precision)之前，先来看一下AP(Average Precision), 即为平均准确率。对于AP可以用这种方式理解: 假使当我们使用google搜索某个关键词，返回了10个结果。当然最好的情况是这10个结果都是我们想要的相关信息。但是假如只有部分是相关的，比如5个，那么这5个结果如果被显示的比较靠前也是一个相对不错的结果。但是如果这个5个相
如何直观理解AUC评价指标？
对半独白
10-29 7万+
最近一直在思考如何直观理解AUC，查了维基百科的以及网上的讲解描述，感觉仍然很难把这个概念表述得通俗易懂，直到昨天周会后拿笔在纸上画了画，感觉似乎找到了一种比较有意思的理解方法，下面就请各位看官容我慢慢道来。
机器学习---推荐系统效果评估NDCG
zhouwenyuan1015的博客
03-29 1万+
参考连接：http://www.cnblogs.com/supersteven/archive/2012/09/01/2666565.html 首先非常感谢作者不辞辛苦整理与分享。根据作者描述以及提供的代码和数据我主要做了一下事情： （1）进行本地测试运行，同时记录下代码每个大的模块主要逻辑。 （2）特别利用作者提供的NDCG效果评估代码，仔细研究了下如何对排序效果进行测评。1、
推荐系统：NDCG评价指标
Machine Learning with Tutors
07-07 3万+
两个最受欢迎的指标是MAP和NDCG。我们在前段时间已经使用了（MAP）。NDCG表示。两者之间的主要区别是，MAP认为是二元相关性（一个项是感兴趣的或者不感兴趣的），而NDCG允许以实数形式进行相关性打分。这种关系类似分类和回归的关系。实际当中，很难直接地优化MAP或NDCG指标，因为他们是不连续的，所以不可微。幸运的是，表明，用于排名学习的一对损失函数近似于这些指标。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值