【IR 论文】Query2doc — 使用 LLM 做 Query Expansion 来提高信息检索能力

论文：Query2doc: Query Expansion with Large Language Models
⭐⭐⭐⭐⭐
Microsoft Research, EMNLP 2023

背景介绍

信息检索（Information Retrieval，IR）指的是，给定一个 user query，从一个 large corpus 中定位出相关的文档。

目前信息检索有两个主流的范式：

1. Lexical-based sparse retrieval（基于词汇的稀疏检索）：是一类经典的 IR 方法，它依赖于文本的词汇内容和它们的统计特性。这种方法的核心是将文档和查询表示为词汇的集合，然后通过计算这些集合之间的相似度来检索文档。其中最著名的稀疏检索模型是 BM25，它使用词频（term frequency, TF）和逆文档频率（inverse document frequency, IDF）来评估查询词与文档的匹配程度。这类方法简单高效且计算效率搞，但检索效果很大程度上依赖于 query 与 doc 中词汇的匹配程度。
2. Embedding-based dense retrieval（基于 embedding 的稠密检索）：是一种较为现代的信息检索方法。这种方法将文本转为 embedding 向量，这种 embedding 能够捕捉到词汇和短语的语义信息，并通过计算向量之间的距离（如余弦相似度）来检索相关文档。这类方法能够捕捉到词汇之间的语义关系，但更需要更多的计算资源。

尽管经典的 BM25 在很多场景下表现不如基于 embedding 的方法，但 BM25 在跨领域的场景下表现还是很不错的。

Query Expansion 是 IR 领域中的一项关键技术，旨在改善查询与文档之间的匹配度，从而提高检索系统的准确性和相关性。Query Expansion 的基本思想是，通过某些方法对用户原始查询进行扩展，添加额外的词汇或短语，以更好地捕捉用户的检索意图。Query Expansion 的挑战在于选择与用户意图高度相关的词汇，同时避免引入噪声或不相关的信息。有效的 Query Expansion 可以显著提高检索系统的性能，尤其是在处理短查询或模糊查询时。然而，不恰当的扩展可能会降低检索质量，因此 Query Expansion 策略的选择和优化是 IR 中的一个活跃研究方向。

Query2doc 论文速读

论文采用的思路很简单，但效果却很不错。