SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

Deeper Text Understanding for IR with Contextual Neural Language Modeling

Zhuyun Dai, Jamie Callan

Carnegie Mellon University

https://arxiv.org/pdf/1905.09217.pdf

神经网络能够自动学习复杂语言模式和查询文档的关系。神经信息检索模型在学习查询文档相关的模式中已经取得了不错的效果，但是目前很少研究人员着重在理解查询的文本内容或者理解文档的内容。

这篇文章研究了如何利用最近提出的语境神经语言模型，BERT，进而可以对信息检索中的文本理解更加深透。

实验结果表明，BERT模型所得语境文本表示相对传统词嵌入更加有效。跟词包检索模型相比，语境语言模型可以更好地利用语言结构，在自然语言的查询中带来大幅提升。将文本理解能力和搜索知识结合起来可以得到增强的预训练BERT模型，该模型在训练数据有限的情况下对相关性搜索任务比较有利。

语境语言模型的特点在于

BERT的优势在于

实验结果表明，比较长的query效果优于短关键词query的效果，并且停用词以及标点符号通过定义语法结构和单词之间的依赖，对于理解query可以起到比较关键的作用。

BERT用于句对分类的结构图示如下

整体流程如下

数据集信息及处理方式描述如下

几种参与对比的方法如下