NIST高级研究员Ellen Voorhees：信息检索研究中的合作竞争 | SIGIR 2020

7月28日上午，美国国家标准与技术研究院(NIST)高级研究员，ACM Fellow Ellen Voorhees博士在第43届国际信息检索大会（SIGIR 2020）上以“信息检索研究中的合作竞争”(Coopetition in IR Research)为题进行了主题报告。

智源社区为这次国际学术盛会提供了线上会议系统，并进行全程直播支持。

 

在报告中，Voorhees博士首先提出如何判别一个好的检索结果，由于检索本质是一种用户行为，所以不同用户有着不同甚至冲突的评判标准来判别一次搜索结果是不是好的。而如果想在信息检索研究中引入类似基准数据集的相关测试，则需要组织者选一个合适的数据集，难度不能太大也不能太小，然后研究人员在这一数据集上进行测试，结果被组织者手动判别。

 

图1：信息检索研究中的竞争合作

 

Voorhees博士分析总结这种竞争合作机制的(1)益处：提升最好的性能(Improve the state-of-the-art)，建立研究方法(Establish the research methodology)，成立研究社区(Form/solidify a research community)，促进科技迁移(Facilitate technology transfer)，摊销设施花销(Amortize the costs of infrastructure)；以及(2)风险：过度集中在单一任务上(Community overfitting to single dataset/task)，任务概要表述不清(Poor task abstraction)，算法认证方法不明(Method conformity)。

 

针对以上的分析，Voorhees博士结合文本检索会议(Text REtrieval Conference, TREC)的例子对上述益处和风险进行案例分析。在提升最好性能方面，Voorhees博士结合统计数据发现社区过度把精力放在了单个任务上的结果并总结提出希望研究者可以做多样化的研究系统，不要拘泥于单个任务的表现。

 

图2：TREC最好性能方面分析

接下来Voorhees博士对研究社区方面的影响进行了分析，提出建立一个好的用于测试的任务需要考虑到难度选题等各个方面。

 

图3：TREC研究社区方面分析

 

在研究方法上面，Voorhees博士提出进行规范化的测试是非常重要的并需要警惕数据集的滥用。

 

图4：TREC研究方法方面分析

 

而在设施搭建方面，Voorhees博士提出搭建设施需要大量的时间和金钱，需要注意在研究社区中由参与者进行分摊。

 

图5：TREC设备花销分析

 

最后，Voorhees博士简单介绍了TREC-COVID (CORD-19)，一个未来应对未来生物医学危机的大流行测试库。在CORD-19中文档的管理非常严格和高效，对未来的使用和比较有非常严格的规定。

 

图6：CORD-19中的改变

 

作为 CCF 推荐的 A 类国际学术会议，SIGIR 历来都是互联网业内关注的焦点，会议覆盖了信息检索领域相关的各类前沿成果，包括基础理论、算法应用以及评估分析。接下来， Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的四位专家学者进行相关主题报告。

点击阅读原文，进入智源社区参与更多讨论。

作者：张伟楠

关于智源线上会议平台

智源线上会议平台，支持包括学术年会、学术报告会、学术沙龙、头脑风暴、学术辩论会、学术讲座、圆桌学术会议和学术座谈会等多种会议形式，实现纯净版视频观看界面。

• 专业用户：智源社区已积累数万人工智能领域优质「观众」及专家学者，覆盖高校师生、开发者、投资人等群体
  

• 国际活动：国内外嘉宾、观众可轻松参与会议，支持国内外用户注册和观看，中英文界面语言

• 交流讨论：不止于单向演讲，重视「交流」的意义与价值，支持直播评论、线上交流区、直播提问专区，除文字外可使用语音、视频等参与直播互动

• 学术会议：智源线上会议平台在2020年已举办20+场专业的人工智能学术会议，其中有50W人参与的北京智源大会、4000人注册参加的AIS 2020论文预讲会、万人的SIGIR 2020、3000人同时在线的图神经网络在线研讨会，以及CCF语音对话与听觉专业组走进企业系列活动等业内知名AI学术会议

• 稳定易用：智源（社区）技术团队自研平台，专业技术人员保驾护航，提供运营专用网络，兼容主流的直播系统，支持观看端界面个性化布局，实现日程下载及本地日历提醒，此外SIGIR 2020期间支持了44个直播间和300+个线上聊天室

扫码进入SIGIR 2020线上会议

相关阅读

SIGIR 2020 | Hinton最新演讲透露下一代神经网络模型的构想

SIGIR 2020 | 重量级嘉宾带你窥探信息检索前沿

SIGIR 2020 | 乘风破浪的AI华人学者们

SIGIR 2020 | 智源学者论文收录占10%

SIGIR 2020大会讲者：悉尼大学陶大程教授

SIGIR 2020大会讲者：西安交通大学徐宗本院士

SIGIR 2020大会讲者：Dr. Ellen Marie Voorhees

SIGIR 2020大会讲者：Prof. Norbert Fuhr

SIGIR 2020大会讲者：Dr. Elizabeth Churchill

SIGIR 2020大会讲者: Prof. Geoffrey Hinton

---