【IR 论文】HyDE：让 LLM 对 query 做查询改写来改进 Dense Retrieval

论文：Precise Zero-Shot Dense Retrieval without Relevance Labels
⭐⭐⭐⭐
CMU, ACL 2023, arXiv:2212.10496
Code: github.com/texttron/hyde

论文速读

在以往的 dense retrieval 思路中，需要对 input query 做 encode 来得到 vector，并于 passages 的 vector 做相似度计算实现检索。这里面的 dense encoder 需要把有相关性的 query 和 docs 映射到相近的位置，这就存在两个缺点：

• dense encoder 需要大量的数据去 learn
• Hard to generalize when definition of relevance changes

但在现实世界中：

• 可以用于 train 的具有相关性关联的 data 并不多
• 检索的需求是多种多样的：
  • 不同的企业或机构有不同的需求
  • 用户的需求也在随着时间发生改变

这就导致了以往的 dense retrieval 的思路并不好用。

---

本文提出的 HyDE 的思路如下：

HyDE 框架中，没有训练或微调任何 LLM

1. 给定一个 user query，通过 LLM 的 instruction-following 的能力，让 LLM 先生成一个对于这个 query 的杜撰的 document：“Hypothetical Document”
2. 使用一个 dense encoder 将这个 Hypothetical Document 编码为 vector：“Hypothetical Document Embedding”
3. 在 document embedding space 中进行检索

其中，denser encoder 可以是一个非常 weak 的模型，仅仅通过无监督的对比学习就可以完成训练。

HyDE 的特点是，不再需要做 query - document 的 mapping，而是让 LLM 先生成一个伪文档，然后通过这个伪文档来完成检索。从而弥补了 input query 与 corpus 之间的 gap。

HyDE 的整体示例如下图所示：

总结

HyDE 提供了一种以完全无监督的方式来构建有效的 dense retriever 的新思路，他的训练不需要任何相关联的 query-doc pair 作为训练资料。

论文指出，HyDE 主要用于搜索系统的部署前期，这时候缺少可用的训练素材，HyDE 可以提供与微调模型相当的表现。随着搜索系统的使用，搜索日志和相关性数据逐渐积累， 就可以逐步训练并推出有监督的 dense retriever 来提供其 in-domain 的专业能力。