nDCG 与 GSB, 排序模型评价指标

最新推荐文章于 2024-08-02 17:54:51 发布
最新推荐文章于 2024-08-02 17:54:51 发布
阅读量1.5w 收藏 15
点赞数 3
分类专栏： 【ML------------通用 文章标签： DCG 排序评价
天天开心
本文链接：https://blog.csdn.net/chuchus/article/details/78686628
版权

简介

DCG, Discounted Cumulative Gain ,累计收益折扣.
A measure of ranking quality. 是信息检索领域中, 对排序问题的一个评价指标, 因素有文档相关性与排序位置.

Q: 与推荐场景常用的AUC, 有何区别?
A: DCG侧重于样本分档, 而非简单的 正/负 sample.

使用场景举例:

  • 用户输入一个query, 得到了很多结果, 这个指标可以对有序的结果进行评价.
  • 相关场景: 文档打标签, 把程序的标签输出也看成有序的, 就也可以用该指标评价.

思想

This measure is based on two following assumptions:

  1. 高度相关文档在排名靠前时, 对用户的帮助更大
  2. 高度相关文档比轻微相关文档, 对用户的帮助更大

公式

D C G k = ∑ i = 1 k r e l i log ⁡ 2 ( i + 1 ) \mathrm{DCG_k} = \sum_{i=1}^{k} \frac{rel_{i}}{\log_{2}(i+1)} DCGk​=i=1∑k​log2​(i+1)reli​​
where r e l i rel_{i} reli​ is i-th doc’s relevant score. k k k is the rank position.
根据k=3(或 10)取值不同, 算出来的就是 前3(或 前10) 个结果的DCG.

nDCG

nDCG, Normalized DCG , 正规化的累计收益折扣.

不同的query, 搜索结果的个数不一致, 所以需要正规化.
IDCG, 表示在理想情况下, 这些文档按照相关性单调递减排序时的DCG得分.

n D C G k = D C G k I D C G p \mathrm{nDCG_{k}} = \frac {DCG_k} {IDCG_p} nDCGk​=IDCGp​DCGk​​

GSB

通常用于两个模型之间的对比, 而非单个模型的评测.

Δ G S B = # g o o d − # b a d # g o o d + # s a m e + # b a d \Delta GSB=\frac{\#good-\#bad}{\#good+\#same+\#bad} ΔGSB=#good+#same+#bad#good−#bad​
场景为已经有了一版模型A, 现在迭代了一版模型B, 评估B是否更优于A

<query,doc>B模型比A模型的提升
q1,d1good
q2,d2same
q3,d3bad
q4,d4bad

按照上表的统计,
Δ G S B = − 1 / 4 \Delta GSB=-1/4 ΔGSB=−1/4, 不能上线.

yichudu
关注
专栏目录
搜索引擎GSB评估方法
程序员光剑
05-29 1235
智能化评估: 随着人工智能和机器学习技术的发展，搜索引擎评估方法将更加智能化。通过自动化的数据分析和模型训练，可以实现更精确的评估和优化。实时评估: 未来的评估方法将更加注重实时性。通过实时监控和评估，可以及时发现问题并进行调整，确保系统的高效运行和用户的良好体验。多维度评估: 未来的评估方法将更加综合，考虑更多的维度和指标。例如，不仅关注搜索结果质量，还要考虑用户行为、系统负载等多个方面。
【方法】搜索排序评估方法
热门推荐
一寒惊鸿
06-09 2万+
在策略相关的产品如搜索、排序、推荐等功能的评估中，除了一般性数据分析方法之外，还有有一些特有的且相对比较固定的评估工具，这些评估工具都取之于信息检索科学的常用评估方法。要了解这些首先要了解策略产品的效果评估，我们必须要引入一些必要的信息检索相关的知识。 1.召回率和准确率 信息检索领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率
做完这些大模型项目，面试官直呼太牛了
2401_85373396的博客
06-21 1515
大语言模型正迅速成为互联网时代最热门的技术创新之一，虽然现在该技术尚处于起步阶段，但已经开始在一些企业应用中广泛部署。接下来，我们来看看大语言模型的 10 大应用场景。一、文本翻译二、恶意软件分析三、创造文本内容四、搜索五、代码开发六、检测和预防网络攻击七、虚拟助理和客户支持八、转录九、市场调研十、SEO关键词优化读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。
如何全面评测一个大模型
2401_85373396的博客
07-09 2178
评测大模型是一个复杂而系统的过程，需要综合考虑多个因素。通过制定详细的评测标准、采用科学的评测方法以及充分利用权威机构的评测结果，我们可以更加全面地了解大模型的表现。同时，随着技术的不断进步和评测方法的不断完善，我们有理由相信大模型将在更多领域展现出其强大的潜力和价值。未来，评测大模型的工作将变得更加精细化和智能化，为AI技术的普及和应用提供更加坚实的保障。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。
搜索引擎的性能评估（以Baidu, Google and Bing为例，附github代码）
yip的个人博客
12-14 1038
Performance evaluation of Baidu, Google and Bing（搜索引擎的性能评估） Link toGithub:https://github.com/yip522364642/Evaluation-of-search-engines 1 Data preparation Compose these 3 queries: query1='网络信息检索的性能...
万字长文分享快手 Kolors 可图大模型应用实践
最新发布
kuaishoutech的博客
08-02 1035
在 AICon 北京站活动中，快手「可图」大模型负责人李岩分享了主题为《快手「可图」文生图大模型应用实践》的演讲，Kolors 开源短短几天，在 Github 已收获 2.5k stars，在 Hugging Face 也登上了模型 Trending 榜榜首。
理解NDCG排序指标
AcceptedLin的博客
10-05 5664
理解NDCG排序指标 关于NDCG，wiki给点解释很详细，这里我谈谈我的理解。 NDCG（Normalizeddiscounted cumulative gain）：是用来衡量排序质量的指标。 其中一种计算公式如下： 先从理解CG,DCG入手。CG（cumulative gain），累...
模型评价指标
KongQueenie的博客
08-02 469
模型评价指标 KS Kolmogorov_Smimov,评估模型风险区分能力。KS用来衡量好坏样本累计分布之间的差值。好坏样本差异越大，KS指标越大，则模型风险区分能力越强。 KS计算步骤： 1.计算每个评分的好坏用户数 2.计算每个评分区间累计好用户数占总好用户数比列（good%）,计算每个评分区间累计坏用户数占总坏用户数的比例（bad%） 3.计算每个评分区间累计好用户占比与累...
深度学习基础之一：机器学习
缘友一世的博客
04-08 1352
*当真实值为10，预测值为5时，误差为5，预测值为8时，误差为2。深度学习：深度学习的概念源于人工神经网络的研究，是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。，根据每个样本的值/特征预测该样本的具体数值，例如房价预测，股票预测等，相当于学习这组数据背后的分布，能够根据数据的输入预测该数据的取值。不论是机器学习还是深度学习，都是通过对大量数据的学习，掌握数据背后的分布规律，进而对符合该分布的其他数据进行准确预测。
目标检测 — 评价指标
dbsggal90047018的博客
05-22 3501
　　评价指标： 　　准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。 1、准确率 （Accuracy） 　　分对的样本数除以所有的样本数 ，即：准确（分类）率 =...
近期学习笔记整理（搜索相关）
qq_36107350的博客
05-20 1211
搜索 基础概念: query：检索语句； doc：文章，文档； title：doc的标题； term：词，分query侧的term和doc侧的term。 TF(Term Frequency)：词频，即词出现在某个内容（一般指doc或者doc的title）的频率 IDF(Inverse Document Frequecy)：逆文档频率，用于刻画一个词的普通使用频率情况。IDF = log（语料库文档总数/（含该词文档数+1）），即包含该词的文档数越多，IDF越小。一般用于惩罚TF，因为有些常用高频词（如：‘
搜索引擎（二）-- 预测评价指标
weixin_43829117的博客
12-09 2874
文章目录一、简介二、二元检测评估指标2.1 精确率Precision & 召回率Recall2.2 PR曲线2.3 AUC-ROC2.4 平均精确率AP2.5 MAP2.5 综合评价指标三、连续值的评估指标3.1 NDCG 一、简介 评价一个搜索引擎，或者说信息回溯的系统的好坏，有许多指标。一般来说，我们会从召回速度和召回功效Effectiveness（准确与否）两个方面来评价。本文将着重基于后者评价一个搜索引擎的好与坏。回溯的准确与否可以是一个True or False的反馈，也可以是一个介于0-
搜索评价指标 / 标签排序指标：nDCG
绯荔榭•少年
08-23 1381
nDCG, Normalized Discounted cumulative gain, 翻译为归一化折损累计增益。这个指标通常是用来衡量和评价搜索结果算法。
NDCG及其实现
lujiandong1的专栏
08-12 2万+
1、NDCG的目标：希望得到的排序列表，质量越高越好。并且，如果将更相关的排到更前面，那么计算得到的NDCG是会越高的。 AUC和NDCG的区别： 1、AUC的含义：把正样本排在负样本前的概率。AUC关注的是全局的排序，只要正样本排在负样本之前，就可以得分。并没有加权。 2、NDCG也是关注排序，但是NDCG关注的是，加权排序。比如我们希望top10的排序准确度，要比bottom10的排序准
搜索评价指标——NDCG
jingshuiliushen_zj的博客
10-11 5082
概念 　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想： 　　1、高关联度的结果比一般关联度的结果更影...
评价标准NDCG
a1223031949的专栏
10-11 1092
评价标准 性能良好的评分模型，应该能够给予那些引起msg或click的候选会员更高的评分（排序靠前），从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain（NDCG），定义如下： 这里。其中n为候选会员集合中的总人数，表示模型给出的排序中，排名为的候选会员的实际ACTION值（msg=2，click=1，re
排序算法常用评价指标计算方式（AUC,MAP,NDCG,MRR）
weixin_38405636的博客
06-13 2万+
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下...
排序指标NDCG
huangdunxian的专栏
06-29 4595
NDCG（Normalized distributed cumulative gain），用来衡量排序质量的指标。 计算公式为： NDCG的计算：CG–>DCG–>NDCGCG：网页gain的累加。gain可以是自己定义的，用来衡量网页的相关程度。在NDCG中，相关度分成从0到r+1的等级（r是可设定的）： 相关度=2r−1相关度=2^r-1 例如现在有一个query={abc}，返回下图左
NDCG评价指标讲解
u011926899的专栏
09-26 1万+
Normalized Discounted Cumulative Gain，即NDCG，常用于作为对rank的评价指标，当我们通过模型得出某些元素的ranking的时候，便可以通过NDCG来测评这个rank的准确度，同样的算法还包括MAP,MRR等，这里只讲解NDCG。 我们通过一个实例来说明一下这个NDCG的用法 id 1 2 3 4 5 模型评分
介绍评价指标NDCG、AUC、ACC、Precision、Recall
07-27
以下是对评价指标NDCG、AUC、ACC、Precision和Recall的简要介绍： 1. NDCG (Normalized Discounted Cumulative Gain)：NDCG是用于衡量排序算法性能的指标，常用于评估推荐系统的排序质量。它考虑了推荐列表中每个项目的相关性和排序位置，通过对相关性进行折扣和累加来计算得分，然后将得分标准化，使得评估结果在0到1之间，越接近1表示排序质量越好。 2. AUC (Area Under the ROC Curve)：AUC是用于衡量分类算法性能的指标，常用于评估二分类问题的预测准确性。ROC曲线是以真正例率（True Positive Rate）为纵轴，假正例率（False Positive Rate）为横轴绘制的曲线，AUC则是ROC曲线下的面积。AUC越接近1表示分类器性能越好。 3. ACC (Accuracy)：ACC是用于衡量分类算法性能的指标，表示分类器正确预测的样本占总样本数的比例。ACC通常用于评估多分类问题中分类器的准确性，取值范围为0到1，越接近1表示分类器性能越好。 4. Precision (精确率)：Precision是用于衡量分类算法性能的指标，表示分类器在预测为正例的样本中，真正例的比例。精确率主要关注分类器的预测准确性，计算公式为真正例数除以真正例数加上假正例数。 5. Recall (召回率)：Recall是用于衡量分类算法性能的指标，表示分类器成功预测为正例的样本占所有真正例的比例。召回率主要关注分类器对正例的全面性，计算公式为真正例数除以真正例数加上假负例数。 这些评价指标在不同的任务和场景中有不同的应用，可以帮助评估模型的性能和效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值