BERT-QE：用于文档Rerank的上下文化查询扩展模型

BERT-QE

论文名称：EMNLP2020 | BERT-QE: Contextualized Query Expansion for Document Re-ranking

arxiv地址：https://arxiv.org/abs/2009.07258v1

代码：https://github.com/zh-zheng/BERT-QE

---

1）Intro

查询扩展通过对用户的初始查询进行扩展和重构，解决了用户查询用词与文档用词不匹配以及用户表达不完整的问题。其目的为减少查询中使用的语言与文档中使用的语言之间的不匹配。伪相关反馈（pseudo relevance feedback，PRF）方法是一种极其有效的方法，通常将Top-k篇文档认作相关文档，使用如TF-IDF权重的方法从这些排名靠前的文档中提取m个关键词，将这些关键词加入到查询中，然后再去匹配查询所返回的文档，最终返回最相关的文档。显然，这种方法的效果非常依赖于所选择的扩展词语的质量。

然而，查询扩展方法在扩展查询时可能会引入不相关的信息。为了解决这一问题，受近年来诸如BERT之类的上下文模型应用于文档检索任务的进展的启发，该文提出了一种新的利用上下文的查询扩展模型。

目前使用预训练模型进行信息检索任务依旧遵循“Retrieve+Rerank”的pipline机制。Retrieve阶段使用BM25或DPH+KL等检索算法对文档集合进行粗排，一般取前1000篇作为feedback document。Rerank阶段就使用BERT等预训练模型进行重排，获取最终的文档排名。

该篇论文主要在Rerank阶段做了一些工作，提出了一种新的查询扩展模型。与19年的Simple Applications of BERT for Ad Hoc Document Retrieval不同的是，该篇论文并不是把文档分成段落，而是使用滑动窗口的方式，在更小的粒度上以期获得更深层的语义信息。

这项工作的贡献有三点：

1. 提出一种新的查询扩展模型，增强BERT模型获取反馈文档中相关信息的能