NDCG、AUC介绍

最新推荐文章于 2023-06-05 15:03:28 发布
最新推荐文章于 2023-06-05 15:03:28 发布
阅读量2w 收藏 10
点赞数 3
分类专栏： 推荐算法 文章标签： NDCG AUC ROC曲线
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014313009/article/details/38944687
版权
本文介绍了在SIGIR论文中提到的NDCG和AUC两个评估推荐算法效果的指标。NDCG是Normalized Discounted Cumulative Gain的缩写，用于衡量检索系统的排序质量；AUC则是Area Under the ROC Curve的简称，它表示分类器对正负样本区分的能力。通过对这两个概念的探讨，有助于理解推荐系统评价的深度。
摘要由CSDN通过智能技术生成

SIGIR的一篇推荐算法论文中提到用NDCG和AUC作为比较效果的指标，之前没了解过这两个指标，便查找相关概念，整理如下。

 

一、NDCG
1.DCG
       首先，介绍一下DCG。DCG的全称是Discounted Cumulative Gain，它是衡量搜索引擎算法的一个指标。搜索引擎一般采用PI（per item）的方式进行评测，即逐条对搜索结果进行等级的打分。比如在Google搜索到一个词，得到5个结果。我们对这些结果进行3个等级的区分：Good、Fair、Bad，对应的分值分别是3、2、1。假设这5个结果的分值分别是3、1、2、3、2。
       使用DCG这个统计方法有两个前提：
        (1) 在搜索页面中，相关度越高的结果排在前面越好。
       (2) 在PI标注时，等级高的结果比等级低的结果好。
在一个搜索结果的list里面，假设有两个结果的评级都是Good，但是第一个排在第一位，第二个排在第40位，虽然等级是一样的，但排在40位的那个结果被用户看到的概率比较小，对整个页面的贡献也要比第一个结果小很多。所以第二个结果的得分应该有所减少。DCG的计算公式如下：
其中，
最低0.47元/天 解锁文章
__鸿
关注
专栏目录
算法衡量auc_排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_34640844的博客
12-24 931
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和...
NDCG及其实现
lujiandong1的专栏
08-12 2万+
1、NDCG的目标：希望得到的排序列表，质量越高越好。并且，如果将更相关的排到更前面，那么计算得到的NDCG是会越高的。 AUC和NDCG的区别： 1、AUC的含义：把正样本排在负样本前的概率。AUC关注的是全局的排序，只要正样本排在负样本之前，就可以得分。并没有加权。 2、NDCG也是关注排序，但是NDCG关注的是，加权排序。比如我们希望top10的排序准确度，要比bottom10的排序准
搜索评价指标——NDCG
jingshuiliushen_zj的博客
10-11 5082
概念 　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想： 　　1、高关联度的结果比一般关联度的结果更影...
IR常用评价指标计算方式（AUC,MAP,NDCG,MRR，Precision、Recall、F-score）
ance_xiaojia的博客
11-22 8280
AUC,MAP,NDCG,MRR，Precision、Recall、F-score 1.AUC（Area Under Curve） ROC曲线下方的面积大小,由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。 首先AUC值是一...
通俗举例讲解评价指标—recall、precision、ndcg，hit，auc
zhao254014的博客
04-17 7554
通俗举例讲解评价指标—recall、precision、ndcg，Popularity、coverage推荐系统中的常用指标，其他的陆续会加入进去,关于评价指标的讲述
介绍评价指标NDCG、AUC、ACC、Precision、Recall
最新发布
07-27
以下是对评价指标NDCG、AUC、ACC、Precision和Recall的简要介绍： 1. NDCG (Normalized Discounted Cumulative Gain)：NDCG是用于衡量排序算法性能的指标，常用于评估推荐系统的排序质量。它考虑了推荐列表中每个...
NDCG = Metric.NDCG(origin, predicted, n) indicators.append('NDCG:' + str(NDCG) + '\n') # AUC = Measure.AUC(origin,res,rawRes) # measure.append('AUC:' + str(AUC) + '\n') measure.append('Top ' + str(n) + '\n') measure += indicators解释这段代码
07-10
这段代码计算了一些评估指标，并将结果添加到 `indicators` 和 `measure` 这两个列表中。下面是对每行代码的解释： 1. `NDCG = Metric.NDCG(origin, ...请注意，代码中的 AUC 相关的行已经被注释掉了，所以不会执行。
离线与在线auc不一致问题
来自Daisy和她的单程车票
03-21 1282
阅读论文：Predictive Model Performance: Offline and Online Evaluations 1、离线AUC、RIG有迷惑性（线上线下不一致） 、auc忽略了预测得分，只关注顺序(正样本排在负样本之前) auc 越高并不意味着有更好的排序 AUC不能区分ROC空间的各个区域，所以仅通过优化数据两端的模型性能就可以训练模型以最大化AUC分数。 实际上，高估pClick得分范围内的点击概率比低估pClick得分范围时对在线性能的影响要小 低pClick范围内pClick得分
排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_38405636的博客
06-13 2万+
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下...
常用推荐系统评测指标
weixin_46351593的博客
06-05 3334
本文作为我学习推荐算法时的学习笔记，来总结一些推荐系统中的评测指标通常推荐系统的评测方法有四种：。本文主要介绍线下评测，线下评测是推荐系统的，通常有两种评测方式，一种是，一种是。（1）是一种军事演习式的测试。模拟测试当然无法代替真实数据，但是也能暴露一些问题。通常做法是先收集业务数据，也就是根据业务场景特点，构造用户访问推荐接口的参数。这些参数要尽量还原当时场景，然后拿这些参数数据去实时访问推荐推荐，产生推荐结果日志，收集这些结果日志并计算评测指标，就是离线模拟测试。
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
热门推荐
十三
04-21 8万+
1 混淆矩阵 TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正； FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正； FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负； TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负. 其中，TP与TN表示分类正确...
推荐系统：NDCG评价指标
Machine Learning with Tutors
07-07 3万+
两个最受欢迎的指标是MAP和NDCG。我们在前段时间已经使用了（MAP）。NDCG表示。两者之间的主要区别是，MAP认为是二元相关性（一个项是感兴趣的或者不感兴趣的），而NDCG允许以实数形式进行相关性打分。这种关系类似分类和回归的关系。实际当中，很难直接地优化MAP或NDCG指标，因为他们是不连续的，所以不可微。幸运的是，表明，用于排名学习的一对损失函数近似于这些指标。
评价标准NDCG
a1223031949的专栏
10-11 1092
评价标准 性能良好的评分模型，应该能够给予那些引起msg或click的候选会员更高的评分（排序靠前），从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain（NDCG），定义如下： 这里。其中n为候选会员集合中的总人数，表示模型给出的排序中，排名为的候选会员的实际ACTION值（msg=2，click=1，re
机器学习算法评价指标之group auc（gauc）
gq的博客
02-23 2万+
在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击的样本当作正样本，没有点击的样本当作负样本，把这个任务当成一个二分类进行处理，最后模型输出的是样本是否被点击的概率。 举个很简单的例子，假...
推荐算法常用评价指标：ROC、AUC、F1、HR、MAP、NDCG
weixin_41332009的博客
01-28 7938
1.再复习一遍accuracy, precision, recall, F1 score: 2. 再复习一遍ROC、AUC ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR） AUC（Area Under Curve）被定义为ROC曲线下的面积。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为
模型评价(一) AUC大法
weixin_34148340的博客
07-29 2107
问题： AUC是什么 AUC能拿来干什么 AUC如何求解（深入理解AUC） AUC是什么 混淆矩阵(Confusion matrix) 混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，这里用一个经典图来解释混淆矩阵是什么。显然，混淆矩阵包含四部分的信息： True negative(...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值