排序(ranker)模型里面常用的评价指标梳理

最新推荐文章于 2022-04-28 21:00:41 发布
最新推荐文章于 2022-04-28 21:00:41 发布
阅读量5.7k 收藏 24
点赞数 11
分类专栏： 推荐系统学习笔记 文章标签： 排序指标 评估指标 ndcg auc MRR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhongqiang/article/details/119036774
版权

1. 写在前面

最近的任务需要用到排序性的模型了，也就是LearningToRank的排序算法，关于这种排序算法， 预测的目标并不是点击或者不点击这样的二分类问题， 而是一个列表的整体排列顺序，是一种list-wise的方法，有时候更加符合推荐的场景。之前也整理过一篇文章, 具体的可以参考。

说到排序结果， 必然需要有指标用于评价排序结果的好坏，所以这篇文章的话主要是整理搜索排序里面用到的常用评价指标，比如我们常听到的MRR(Mean Reciprocal Rank), MAP(Mean Average Precison), NDCG(Normalized Discounted Cumulative Gain), RC(Rank Correction)等， 之前学习的时候， 如果不用会发现很快就忘记怎么算，尤其是NDCG这个， 感觉好难懂的样子，所以这次想把这些都整理到一块， 进行对比和强化理解， 也方便以后的回看。

看完这些， 再也不要说不懂排序的评价指标了哈哈，下面开始:

2. 精确率&召回率&F1值&AUC

这些内容， 这里就不整理了，这几个主要是评价二分类问题中模型的性能好坏， 我之前已经有非常详细的一篇文章进行梳理， 这里面最重要的就是AUC， 这个计算一定要会， 计算代码也得会手撸， 具体参考:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
翻滚的小@强
关注
  • 11
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
song_ranker
02-16
song_ranker 一个新的Flutter项目。 入门 该项目是Flutter应用程序的起点。 如果这是您的第一个Flutter项目，那么有一些资源可以帮助您入门： 要获得Flutter入门方面的帮助，请查看我们的，其中提供了教程，示例，有关移动开发的指南以及完整的API参考。
算法基础：排序算法：7个常用的衡量指标
知行合一 止于至善
10-25 2520
时间复杂度和空间复杂度是衡量算法的重要指标，对于排序算法这一特定算法，这篇文章整理了一些常见的基础性的指标，后续将以此为基础进行进一步的解释。
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
热门推荐
十三
04-21 8万+
1 混淆矩阵 TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正； FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正； FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负； TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负. 其中，TP与TN表示分类正确...
深入理解Java内存模型??重排序
12-22
数据依赖性 　　如果两个操作访问同一个变量，且这两个操作中有一个为写操作，此时这两个操作之间存在数据依赖性。数据依赖分下列三种类型：   名称 代码示例 说明 写后读 a = 1;b = a; 写一个变量之后，再读这个位置。 写后写 a = 1;a = 2; 写一个变量之后，再写这个变量。 读后写 a = b;b = 1; 读一个变量之后，再写这个变量。 　　上面三种情
Holdem-Ranker:对 Holdem 手进行排序的应用程序
05-29
德州扑克排行榜 对 Holdem 手进行排序的应用程序
RS评估指标记录
QAQwhq的博客
02-11 1093
2022一些论文与使用的指标一.评分1.RMSE(Root Mean Squard Error)、MAE(Mean Absolute Error)二.推荐列表准确率（Precision）和召回率（Recall）AUC命中率HR(Hits Ratio)三.排序归一化折损累计增益(Normalized Discounted Cumulative Gain，NDCG)平均倒数排名(Mean Reciprocal Rank, MRR)MAP(Mean Average Precision，平均准确率)e.g K=5
搜索排序算法：评估方法【平均排序倒数（MRR）、平均准确率 （MAP）、NDCG】
u013250861的博客
02-23 1144
参考资料： 问答系统评测方法
推荐系统的评价指标笔记（NDCG、MAP、AUC、HR、MRR）
pocket_eight的博客
09-27 3953
NDCG Normalized Discounted Cummulative Gain 累积增益CG，CG表示每个推荐结果相关性的分数的累加， CGk=∑i=1kr(i)CG_k=\sum_{i=1}^kr(i)CGk​=i=1∑k​r(i) 其中relirel_ireli​是位置iii的推荐结果的相关性，kkk是推荐列表的大小. 如果我们考虑到位置对推荐的影响，比如，相关性高的应该尽量排在推荐列表的前面。这里引入DCG，考虑位置的影响因素： DCGk=∑i=1kr(i)log⁡2(i+1)DCG_k=\s
模型评价指标
KongQueenie的博客
08-02 414
模型评价指标 KS Kolmogorov_Smimov,评估模型风险区分能力。KS用来衡量好坏样本累计分布之间的差值。好坏样本差异越大，KS指标越大，则模型风险区分能力越强。 KS计算步骤： 1.计算每个评分的好坏用户数 2.计算每个评分区间累计好用户数占总好用户数比列（good%）,计算每个评分区间累计坏用户数占总坏用户数的比例（bad%） 3.计算每个评分区间累计好用户占比与累...
模型评估标准
zhuiyunzhugang的博客
05-12 874
case：100个样本 60个正样本，40个负样本。 模型分类出正确的样本为90个。 即准确率为 模型正确的正样本个数为50，分类器分类的正样本个数为55。 即精确度为 召回率为 ...
GSA Search Engine Ranker 搜索引擎 v14.91官方版
01-08
为您提供GSA Search Engine Ranker 搜索引擎下载，GSA Search Engine Ranker(搜索引擎)是一款简单实用的使用搜索引擎工具，GSA Search Engine Ranker搜索引擎可以把你的网站提交给多个搜索引擎。软件特色　　自动建立反向链接，且不会自动停止　　没有固定的数据库提交网站,所有搜索取决于关键词　　反向链接的锚文本的链接总是关联到相关的关键字　　可扩展脚本　　自动更新功能功能介绍　　完全自动建立反向链接　　没有固定
k-ranker:K-Ranker是一种基于优先级顺序提取关键词的算法
07-09
K-Ranker K-Ranker 是一种基于优先级顺序提取关键字的算法。 注意：本文档为韩文。 K-Ranker 是一种基于优先级的关键词提取算法。 它根据拐点分为方程1/方程2，由两个方程管理，抛物线（顶点形式）图构造为二次方程。 每个公式都是基于 y = a(x - m)^2 + n 并根据拐点的位置灵活调整 a 的值来改变抛物线的倾角。 博客： : 由于与最初编写的博客文档内容有一些变化，更多详细信息请参考带有详细注释的代码，或者您可以简单地如下使用。 KRanker kranker = KRanker . getInstance(); kranker . add( " 키워드 1 " , 1 ); kranker . add( " 키워드 2 " , 2 ); kranker . add( " 키워드 3 " ,
GSA Search Engine Ranker 搜索引擎 v14.84官方版
12-25
为您提供GSA Search Engine Ranker 搜索引擎下载，GSA Search Engine Ranker(搜索引擎)是一款简单实用的使用搜索引擎工具，GSA Search Engine Ranker搜索引擎可以把你的网站提交给多个搜索引擎。软件特色　自动建立...
search_engine_ranker.zip
03-16
search_engine_ranker.zip 发包工具
GSA Search Engine Ranker 搜索引擎 v14.92官方版
01-07
为您提供GSA Search Engine Ranker 搜索引擎下载，GSA Search Engine Ranker(搜索引擎)是一款简单实用的使用搜索引擎工具，GSA Search Engine Ranker搜索引擎可以把你的网站提交给多个搜索引擎。软件特色　自动建立...
AI上推荐 之 协同过滤
Miracle8070
08-21 1万+
㐇
AI上推荐 之 多任务loss优化(自适应权重篇)
Miracle8070
04-28 1万+
1. 写在前面 在多任务学习中，往往会将多个相关的任务放在一起来学习。例如在推荐系统中，排序模型同时预估候选的点击率和浏览时间。相对于单任务学习，多任务学习有以下优势： 多个任务共享一个模型，占用内存量减少； 多个任务一次前向计算得出结果，推理速度增加； 关联任务通过共享信息，相互补充，可以提升彼此的表现。 前面的一篇文章，主要是从模型结构的角度聊了下多任务学习，介绍了工业界非常经典也常用的MMOE模型，然而，对于多任务学习， Loss的优化也非常重要， 因为我们知道通过多个目标去指导网络进行统一的训练
LearningToRank(LTR)排序算法LGBMRanker的原理和使用
Miracle8070
12-03 1万+
1. 写在前面 在最近新闻推荐的比赛中， 接触到了一个排序模型LGBMRanker， 该模型与普通的分类模型LGBMClassifier不太一样， 普通的分类模型在进行推荐的时候， 往往是先预测某个商品或者文章用户会不会点击， 也就是它的目标是预测用户点击某篇文章或者某个商品的概率， 然后根据这个概率值进行排序， 排完之后，把最靠前的几个返回回来给用户进行推荐。 而LGBRanker模型， 它不关心用户点击某篇文章的概率， 而是根据用户点击或者不点击的这个行为， 直接去预测最后商品或者文章的一个相对顺序，
AI上推荐 之 FNN、DeepFM与NFM(FM在深度学习中的身影重现)
Miracle8070
12-28 1万+
1. 前言 随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战： 信息消费者：如何从大量的信息中找到自己感兴趣的信息？ 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？ 为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协
@Select("select \n" + "\t*\n" + "from (\n" + "\tselect \n" + "\t\t*,\n" + "\t\trank() over(partition by ind order by moddate desc) as ranker\n" + "\tfrom lslhpj_scores\n" + "\twhere moddate <= #{moddate}\n" + "\tand brtno = #{brtno}\n" + ")a\n" + "where ranker = 1")
最新发布
07-15
2. `from (select *, rank() over(partition by ind order by moddate desc) as ranker from lslhpj_scores where moddate ) a`：这部分是嵌套查询，先执行内部的查询语句，将结果作为临时表 `a`。内部查询语句通过 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值