NDCG、AUC介绍

最新推荐文章于 2022-04-17 00:18:06 发布
最新推荐文章于 2022-04-17 00:18:06 发布
阅读量2w 收藏 10
点赞数 3
分类专栏： 推荐算法 文章标签： NDCG AUC ROC曲线
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014313009/article/details/38944687
版权
本文介绍了在SIGIR论文中提到的NDCG和AUC两个评估推荐算法效果的指标。NDCG是Normalized Discounted Cumulative Gain的缩写，用于衡量检索系统的排序质量；AUC则是Area Under the ROC Curve的简称，它表示分类器对正负样本区分的能力。通过对这两个概念的探讨，有助于理解推荐系统评价的深度。
摘要由CSDN通过智能技术生成

SIGIR的一篇推荐算法论文中提到用NDCG和AUC作为比较效果的指标，之前没了解过这两个指标，便查找相关概念，整理如下。

 

一、NDCG
1.DCG
       首先，介绍一下DCG。DCG的全称是Discounted Cumulative Gain，它是衡量搜索引擎算法的一个指标。搜索引擎一般采用PI（per item）的方式进行评测，即逐条对搜索结果进行等级的打分。比如在Google搜索到一个词，得到5个结果。我们对这些结果进行3个等级的区分：Good、Fair、Bad，对应的分值分别是3、2、1。假设这5个结果的分值分别是3、1、2、3、2。
       使用DCG这个统计方法有两个前提：
        (1) 在搜索页面中，相关度越高的结果排在前面越好。
       (2) 在PI标注时，等级高的结果比等级低的结果好。
在一个搜索结果的list里面，假设有两个结果的评级都是Good，但是第一个排在第一位，第二个排在第40位，虽然等级是一样的，但排在40位的那个结果被用户看到的概率比较小，对整个页面的贡献也要比第一个结果小很多。所以第二个结果的得分应该有所减少。DCG的计算公式如下：
其中，
最低0.47元/天 解锁文章
__鸿
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
算法衡量auc_排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_34640844的博客
12-24 915
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和...
搜索评价指标——NDCG
jingshuiliushen_zj的博客
10-11 4927
概念 　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想： 　　1、高关联度的结果比一般关联度的结果更影...
通俗举例讲解评价指标—recall、precision、ndcg，hit，auc
zhao254014的博客
04-17 7091
通俗举例讲解评价指标—recall、precision、ndcg，Popularity、coverage推荐系统中的常用指标，其他的陆续会加入进去,关于评价指标的讲述
NDCG及其实现
lujiandong1的专栏
08-12 2万+
1、NDCG的目标：希望得到的排序列表，质量越高越好。并且，如果将更相关的排到更前面，那么计算得到的NDCG是会越高的。 AUC和NDCG的区别： 1、AUC的含义：把正样本排在负样本前的概率。AUC关注的是全局的排序，只要正样本排在负样本之前，就可以得分。并没有加权。 2、NDCG也是关注排序，但是NDCG关注的是，加权排序。比如我们希望top10的排序准确度，要比bottom10的排序准
Basic-Evaluation-metrics.zip
08-23
"Basic-Evaluation-metrics.zip" 文件包中包含的是推荐算法评估常用的几个关键指标的实现，如AUC、NDCG、MAP、MRR和HR。这些指标用于衡量模型在预测用户对物品偏好时的效果。下面将详细介绍这些评价指标及其在...
从隐式反馈中学习推荐社交情境信息
03-03
近年来，具有社交网络的推荐系统已经得到了很好的研究。... 在真实数据集上的实验表明，就AUC，NDCG和Pre @ 3而言，我们的方法优于其他最新算法。 该结果证明了社会背景和共同的社会关系对于形成隐含等级的重要性。
MyMediaLite：CLR的推荐系统库（.NET）
03-01
质量度量MAE，NAME，RMSE，CBD，AUC，MAP，precision @ N，recall @ N，NDCG，MRR; 和 命令行工具，可读取基于文本的简单输入格式。 紧凑：核心库大约275 KB“大”。 可移植性：用C＃编写，用于.NET平台； 在Mono...
京东JData大数据比赛第13名的user模型.zip
最新发布
09-30
对于这种比赛，最终目标可能是最大化AUC（面积在ROC曲线下）或者NDCG（归一化折扣累积增益）。 6. 代码实现：压缩包可能包含Python或R语言的代码，这些代码展示了如何处理数据、构建特征、训练模型以及评估性能。...
全局视角系统学习《推荐系统》，实战中提升竞争力
03-01
7. **推荐系统的评估与优化**：学习如何使用如准确率、召回率、AUC和NDCG等指标来评估推荐效果，以及如何通过在线实验和离线评估来持续改进系统性能。 8. **实战项目**：最后一章通常包含一个或多个实际项目，让...
排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_38405636的博客
06-13 2万+
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下...
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
热门推荐
十三
04-21 8万+
1 混淆矩阵 TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正； FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正； FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负； TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负. 其中，TP与TN表示分类正确...
推荐系统：NDCG评价指标
Machine Learning with Tutors
07-07 3万+
两个最受欢迎的指标是MAP和NDCG。我们在前段时间已经使用了（MAP）。NDCG表示。两者之间的主要区别是，MAP认为是二元相关性（一个项是感兴趣的或者不感兴趣的），而NDCG允许以实数形式进行相关性打分。这种关系类似分类和回归的关系。实际当中，很难直接地优化MAP或NDCG指标，因为他们是不连续的，所以不可微。幸运的是，表明，用于排名学习的一对损失函数近似于这些指标。
评价标准NDCG
a1223031949的专栏
10-11 1080
评价标准 性能良好的评分模型，应该能够给予那些引起msg或click的候选会员更高的评分（排序靠前），从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain（NDCG），定义如下： 这里。其中n为候选会员集合中的总人数，表示模型给出的排序中，排名为的候选会员的实际ACTION值（msg=2，click=1，re
机器学习算法评价指标之group auc（gauc）
gq的博客
02-23 2万+
在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击的样本当作正样本，没有点击的样本当作负样本，把这个任务当成一个二分类进行处理，最后模型输出的是样本是否被点击的概率。 举个很简单的例子，假...
IR常用评价指标计算方式（AUC,MAP,NDCG,MRR，Precision、Recall、F-score）
ance_xiaojia的博客
11-22 8198
AUC,MAP,NDCG,MRR，Precision、Recall、F-score 1.AUC（Area Under Curve） ROC曲线下方的面积大小,由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。 首先AUC值是一...
推荐算法常用评价指标：ROC、AUC、F1、HR、MAP、NDCG
weixin_41332009的博客
01-28 7663
1.再复习一遍accuracy, precision, recall, F1 score: 2. 再复习一遍ROC、AUC ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR） AUC（Area Under Curve）被定义为ROC曲线下的面积。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为
模型评价(一) AUC大法
weixin_34148340的博客
07-29 2046
问题： AUC是什么 AUC能拿来干什么 AUC如何求解（深入理解AUC） AUC是什么 混淆矩阵(Confusion matrix) 混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，这里用一个经典图来解释混淆矩阵是什么。显然，混淆矩阵包含四部分的信息： True negative(...
Recall, Precision, and Average Precision
三少GG
11-27 1万+
信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC 分类： 1.自然语言处理/机器学习 在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。 准确率、召回率、F1 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precisio
介绍评价指标NDCG、AUC、ACC、Precision、Recall
07-27
以下是对评价指标NDCG、AUC、ACC、Precision和Recall的简要介绍： 1. NDCG (Normalized Discounted Cumulative Gain)：NDCG是用于衡量排序算法性能的指标，常用于评估推荐系统的排序质量。它考虑了推荐列表中每个项目的相关性和排序位置，通过对相关性进行折扣和累加来计算得分，然后将得分标准化，使得评估结果在0到1之间，越接近1表示排序质量越好。 2. AUC (Area Under the ROC Curve)：AUC是用于衡量分类算法性能的指标，常用于评估二分类问题的预测准确性。ROC曲线是以真正例率（True Positive Rate）为纵轴，假正例率（False Positive Rate）为横轴绘制的曲线，AUC则是ROC曲线下的面积。AUC越接近1表示分类器性能越好。 3. ACC (Accuracy)：ACC是用于衡量分类算法性能的指标，表示分类器正确预测的样本占总样本数的比例。ACC通常用于评估多分类问题中分类器的准确性，取值范围为0到1，越接近1表示分类器性能越好。 4. Precision (精确率)：Precision是用于衡量分类算法性能的指标，表示分类器在预测为正例的样本中，真正例的比例。精确率主要关注分类器的预测准确性，计算公式为真正例数除以真正例数加上假正例数。 5. Recall (召回率)：Recall是用于衡量分类算法性能的指标，表示分类器成功预测为正例的样本占所有真正例的比例。召回率主要关注分类器对正例的全面性，计算公式为真正例数除以真正例数加上假负例数。 这些评价指标在不同的任务和场景中有不同的应用，可以帮助评估模型的性能和效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值