关于信息检索评价TREC：session track 的说明

最新推荐文章于 2022-01-21 10:59:03 发布
最新推荐文章于 2022-01-21 10:59:03 发布
阅读量1.3k 收藏 1
点赞数
文章标签： 信息检索评价指标
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33521086/article/details/80576150
版权
本文介绍了TREC中的Session Track，详细解析了runID数据格式、Sessiontopicmap.txt与Sessionmaptxtmap.txt文件内容。此外，讨论了信息检索评价指标，如AP、MAP、ERR和NDCG，特别是NDCG@k的计算及其重要性。这些指标对于衡量检索系统的性能至关重要。
摘要由CSDN通过智能技术生成


Input. runID数据格式：topic+Q0+文档ID+rank+score+runID

1     Q0   clueweb09-enwp00-61-01138    999  -11.4456 WQExpFqDSnip

1     Q0   clueweb09-enwp00-16-01528    998  -11.4454 WQExpFqDSnip

Sessiontrack2012.txt


Sessiontopicmap.txt格式：session    topic       subject    product  goal tasktype

1     1     1     factual    specific   known-item

2     2     1     lntellectual     specific   interpretive

3     3     2     factual    amorphous    known-subject

Sessionmaptxtmap.txt是对sessiontrack2012的简化，简要信息。

Summary.runID数据格式：RL1RL2 RL3 RL4各个队伍的评价指标的结果。

最低0.47元/天 解锁文章
胡默默
关注
国科大何苯现代信息检索大作业trec竞赛报告核心内容2018最新
03-04
近年来，随着互联网的发展以及现代的、廉价的图形用户界面和大容量存储设备的出现，信息检索（information retrieval, IR）领域已经发生了巨大的变化，这使得传统的信息检索教材变得过时，所以很有必要通过竞赛来提高研究人员对技术的认识，trec是信息检索领域十分重要的一个竞赛，本课程是以2017年的trec竞赛为例。
TREC Precision Medicine 使用Terrier进行信息检索
GouGe_CSDN的博客
11-21 3104
一、实验目标 学会使用一个信息检索系统完成给定的信息检索任务，包括创建索引、选择检索模型并设置参数、评价检索结果等等。 二、实验描述 使用一个信息检索系统，例如Galago、Elastic Search、Terrier、Anserini等，完成TREC 2018 Precision Medicine Track的检索任务，要求至少给出10组不同参数配置或检索方案的结果，并给出每组检索结果的各...
信息检索的评价标准
weixin_30700099的博客
10-08 267
信息检索的评价标准 最近在看检索的相关论文，接触到了很多与检索相关的评价准则。整理在此，以供查询 以下内容主要来自 Wiki for evaluation of an information retrieval system *** 1. 基本假设与术语 以一个文本检索系统为例，我们事先拥有一堆文档集，并且集合中每篇文档的属性都知道，每篇文档对应的相关文档是哪些也都一清二楚。 设想我们查询单篇...
信息检索trec资料
07-12
介绍trec会议的一个ppt，出自中科院。
trec 2019 fair ranking track
avqgmlf7529的博客
08-17 447
trec 2019 fair ranking track 最近实验室要求参加trec 2019新出的track：fair ranking track。这里整理一下该任务的思想和要求。这次track主要为学术论文数据的排序。 1 Protocol 会给定一个query集合Q，其中\(q\in Q\)。对于每个请求，会有一个query q和一个文档集合\(D_q\)。你需要...
人工智能-项目实践-数据预处理-信息检索大作业：对 TREC CDS 数据集进行预处理
最新发布
03-04
信息检索大作业：对 TREC CDS 数据集进行预处理 环境依赖 Java 1.8 Maven 3 采用的技术和库 nio 多线程 SAX (for xml) Jackson (for json) 构建与打包 $ mvn package 文件 /target/trec-preprocess.jar 即为可独立...
论文研究-基于session数据的信息检索优化方法 .pdf
08-16
本文讨论了基于会话数据进行信息检索优化的算法研究。在互联网信息检索领域，传统的技术通常集中在如何回应用户的单次查询并返回相关结果，但现实场景中用户往往需要通过一系列查询来找到自己真正想要的信息。这种与...
概述笔记 TREC 2020|OVERVIEW OF THE TREC 2020 DEEP LEARNING TRACK
o11oo11o的博客
10-30 1478
文章目录1 介绍2 任务定义2.1 文档检索2.2 段落检索3 数据集4 结果分析4.1 深度学习与传统方法的对比4.2 端到端检索与重排的对比4.3 ORCAS数据的影响4.4 NIST标签与稀疏的MS MARCO标签的对比5 总结 1 介绍 概述题目：OVERVIEW OF THE TREC 2020 DEEP LEARNING TRACK 概述来源：TREC 2020 概述链接：https://trec.nist.gov/pubs/trec29/papers/OVERVIEW.DL.pdf 深度学习的
TrecQA 数据集简介
zdcs的专栏
02-27 6036
TrecQA ------ TrecQA 数据集一般用来评估QA的答案选择 它由一下论文发表和组织: + Wang et al. [What is the Jeopardy Model? A Quasi-Synchronous Grammar for QA.](http://www.aclweb.org/anthology/D07-1003) *EMNLP-CoNLL 2007*. + He...
Python-MSMARCOpassagerankingtask阅读理解任务排名第一的BERT解决方案
08-10
“MSMARCO passage ranking task”阅读理解任务排名第一的BERT解决方案
wikiqa 数据集
04-03
We describe the WikiQA dataset, a new publicly available set of question and sentence pairs, collected and annotated for research on open-domain question answering. Most previous work on answer sentence selection focuses on a dataset created using the TREC-QA data, which includes editor-generated questions and candidate answer sentences selected by matching content words in the question. WikiQA is constructed using a more natural process and is more than an order of magnitude larger than the previous dataset. In addition, the WikiQA dataset also includes questions for which there are no correct sentences, enabling researchers to work on answer triggering, a critical component in any QA system. We compare several systems on the task of answer sentence selection on both datasets and also describe the performance of a system on the problem of answer triggering using the WikiQA dataset.
TrecIREvaluation:通过对ElasticSearch Index（Python）进行搜索来检索排名文档的Trec评估
05-20
TrecIRE评估 Trec评估通过搜索ElasticSearch Index检索到的排名文档 对于ES索引上的每个查询，都要计算R精度，平均精度，nDCG，precision @ k，recall @ k和F1 @ k（k = 5,10、20、50、100），以检查检索的有效性。 URL Http使用curl请求与弹性搜索之间的来回数据交换获取和放置请求。 使用Matlab 2-D图数据分析工具创建了精确调用图。
passage-reranking-transformers:通过Transformers进行现成的句子段落排名
03-19
段落重排变形金刚 通过Transformers进行现成的句子/段落排名。 输入：查询和句子/段落列表。 输出：按与查询的预测相关性的顺序排列句子/段落的列表。 在线提供了几种经过微调的通道重新排名模型（在MSMARCO数据集上进行了训练）： 直接从HuggingFace模型中心使用： ， 使用本地模型，例如 （将需要转换为PyTorch格式） 快速开始
2021人工智能原理与算法（国科大张文生老师主讲）
weixin_44559265的博客
01-21 3014
第一次作业 教科书 P30-31 -1.3 -1.7 -1.9 -1.14(选择一部分，至少3个) -1.15(选择一部分，至少2个) -1.3 反射行动是理性的。理性的意思是合理的思考并做出合理的行 为，缓慢、谨慎的行动往往会造成手更大程度的损伤，所以反射行为 是理性的。如果“智能”的定义是运用知识、思考或推理解决问题， 那么反射行动就不是智能的。 -1.7（1）超市条码扫描器虽然使用了计算机视觉相关的技术，但是 仍需要人手动操纵使用，缺乏自主性。其仅可以被视为提升工作效率 的工具，不属于人工智能系统。但
图像检索公开数据集
热门推荐
mqfcu8的专栏
04-14 2万+
搜索了许多CBIR的数据集，后续还会有添加。
TREC之使用terrier进行信息检索
weixin_46092581的博客
12-27 1745
这篇文章是用来记录我们使用信息检索工具terrier时的一些经验。 我们在使用terrier的时候找资料非常费劲，我们就想把我们的实验经验分享出来，同时也非常感谢各位给我们提供过帮助的朋友。我们尽量在文章中把每一步都讲出来，以及处理中的一些问题。
TrecQA 数据集下载
Talk Is Cheap
09-19 1462
https://github.com/Kyung-Min/CompareModels_TRECQA/tree/master/data https://github.com/castorini/data/tree/master/TrecQA
SQuAD，斯坦福在自然语言处理的野心
技术博客
09-12 8457
本文将详细叙述今年目前为止自然语言处理界最重量级的数据集 SQuad 。 SQuAD 是斯坦福大学于2016年推出的数据集，一个阅读理解数据集，给定一篇文章，准备相应问题，需要算法给出问题的答案。此数据集所有文章选自维基百科，数据集的量为当今其他数据集(例如，WikiQA)的几十倍之多。一共有107,785问题，以及配套的 536 篇文章。数据集的贡献者为斯坦福Percy Liang等人，Percy Liang是自然语言处理界的一位全才，在Semantic Parsing, QA, Optimization
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值