NLP学习—19.检索式对话系统中的rank评估指标、rank技术（Point-wise/Pair-wise/List-wise）以及RankNet、LambdaRank、LambdaMART

最新推荐文章于 2022-11-19 19:15:00 发布

哎呦-_-不错

最新推荐文章于 2022-11-19 19:15:00 发布

阅读量1.8k

点赞数 3

分类专栏： NLP学习文章标签： rank指标 rank技术 RankNet LambdaRank LambdaMART

本BLOG上原创文章未经本人许可，不得用于商业用途，转载请注明出处。

本文链接：https://blog.csdn.net/weixin_46649052/article/details/120030946

版权

本文介绍了检索式对话系统中的Rank评估指标，包括MAP和NDCG，以及Point-wise, Pair-wise, List-wise三种Rank技术。重点讲解了RankNet、LambdaRank和LambdaMART的工作原理和优化目标，强调了这些技术在处理排序问题时对相关文档位置的重视和优化。此外，还提及了Context Free Grammar和CKY算法在自然语言处理中的作用。" 126706455,14265589,思维导图在当代工业设计中的应用,"['设计方法', '工业设计', '创新思维', '企业管理', '产品开发']

摘要由CSDN通过智能技术生成

文章目录

引言

在前面几部分我们学习了检索式对话系统的召回（recall），召回可以从海量数据中快速找到相似的Top K文本？一种是基于字符串的召回，比如:BM25+倒排索引；另一种是基于向量的召回，比如：HNSW、Annoy、SIF。对召回结果进行重新排序叫做Ranking。

一、rank 评估指标—MAP、NDCG

1.MAP

MAP(Mean Average Precision)：平均准确率是相关文档检索出后的准确率的平均值。反映系统在全部相关文档的性能单值指标，检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。MAP：分子是第几个文档，分母是rank数，多个相加然后求平均
例如：假设有两个主题: 主题1有4个相关网页, 主题2有5个相关网页。某系统对于主题1检索出4个相关网页，其rank分别为1, 2, 4, 7；对于主题2检索出3个相关网页，其rank分别为1,3,5。
$MAP=(\frac{1}{1}+\frac{2}{2}+\frac{3}{4}+\frac{4}{7})/4\\MAP=(\frac{1}{1}+\frac{2}{3}+\frac{3}{5}+\frac{4}{∞}+\frac{5}{∞})/5$

最低0.47元/天解锁文章

哎呦-_-不错

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
NLP学习—19.检索式对话系统中的rank评估指标、rank技术（Point-wise/Pair-wise/List-wise）以及RankNet、LambdaRank、LambdaMART

文章目录引言一、rank 评估指标—MAP、NDCG二、Point-wise/Pair-wise/List-wise三、RF/GBDT/svm ranking四、RankNet五、LambdaRank/LambdaMART六、Context free Grammar七、CKY算法引言在前面几部分我们学习了检索式对话系统的召回（recall），召回可以从海量数据中快速找到相似的Top K文本？一种是基于字符串的召回，比如:BM25+倒排索引；另一种是基于向量的召回，比如：HNSW、Annoy、SIF。
复制链接

扫一扫