【 双向改写】让检索更聪明的秘密武器（Query2Doc & Doc2Query）

目录

✍️ 什么是双向改写？

1. 🔄 Query2Doc：将查询扩展成文档

2. 🔄 Doc2Query：为文档生成可能的用户查询

🔍 为什么需要双向改写？

📌 应用场景

🛠️ 如何实现？

✨ Query2Doc 示例代码（LangChain + LLM）：

✨ Doc2Query 示例代码（LangChain + LLM）：

---

在构建基于大语言模型（LLM）或向量数据库的智能问答系统时，我们常常遇到一个令人头疼的问题：查询太短、文档太长，彼此无法有效匹配。

举个例子：

• 查询：「如何提高模型训练效率？」

• 文档：「本文介绍了使用混合精度、分布式训练等提升深度学习训练效率的方法……」

如果你直接用 embedding 向量化去比对，它们的“语义距离”可能并不近，因为一个太短，一个太长，信息密度不匹配，导致召回失败。

这时，“双向改写”技术（Query2Doc 和 Doc2Query），就成了解决问题的利器。

---

✍️ 什么是双向改写？

双向改写包括两个方向：

1. 🔄 Query2Doc：将查询扩展成文档

• 目的：让短查询语句“更像文档”，丰富其语义，便于与文档进行语义匹配。

• 技术原理：使用大语言模型对用户查询进行扩展补全，生成一段结构化、详细的说明文本。

• 适合场景：查询过短或模糊，无法准确匹配知识库中的内容。

🔍 示例：

• 原始查询：如何提高深度学习模型的训练效率？

• Query2Doc 扩展：

  提高深度学习模型的训练效率可以从以下几个方面入手：使用更高效的优化算法如AdamW，采用混合精度训练减少显存占用，应用分布式训练技术提升并行效率，合理调整学习率调度等。

通过扩展，查询内容更加“文档化”，embedding 更饱满，有助于向量检索时命中目标内容。

---

2. 🔄 Doc2Query：为文档生成可能的用户查询

• 目的：从文档中“反推出”用户可能会问什么问题，便于提前构建查询 → 文档的映射。

• 技术原理：通过大模型自动生成多条与文档内容强相关的问题。

• 适合场景：文档内容庞大、结构不统一，或用于构建 dense retriever 的训练数据。

🔍 示例：

• 原始文档内容：

  本文介绍了深度学习训练技巧，包括使用 AdamW 替代 SGD，采用混合精度训练，应用分布式训练等……

• Doc2Query 输出：

  • 如何选择深度学习模型的优化器？

  • 混合精度训练有什么优势？

  • 分布式训练技术如何提升效率？

  • 如何减少显存占用？

通过这种方式，系统可以为每个文档生成多个“伪查询”，用于训练更强大的检索模型（如 ColBERT、RAG Retriever）。

---

🔍 为什么需要双向改写？

问题	双向改写如何解决
查询太短，难以表达意图	Query2Doc 扩展查询，语义更清晰
文档太长，信息密度过高	Doc2Query 精准生成提问，补足入口
向量匹配失败	改写后 embedding 表达更充分
数据构造困难	Doc2Query 可自动生成训练数据

---

📌 应用场景

1. RAG（Retrieval-Augmented Generation）问答系统

   改进召回效果，提高准确率。

2. 搜索引擎优化（Query Expansion）

   用户输入后自动补全为丰富查询。

3. 文档预处理

   通过 Doc2Query 为文档打标签、生成元数据。

4. 训练数据增强

   用于构造带“问题-文档”对的数据集，提升 Retriever 训练效果。

---

🛠️ 如何实现？

✨ Query2Doc 示例代码（LangChain + LLM）：

query = "如何提高深度学习模型的训练效率？"
prompt = f"将以下简短问题扩写为一段技术文档说明：\n\n问题：{query}\n\n扩写："
response = llm.invoke(prompt)
print(response)

✨ Doc2Query 示例代码（LangChain + LLM）：

doc = "本文介绍了使用混合精度训练和分布式技术提升深度学习训练效率的方法。" 
prompt = f"根据以下文档内容，生成5个用户可能提出的问题：\n\n文档：{doc}\n\n问题：" 
response = llm.invoke(prompt) 
print(response)

---

类型	方向	作用
Query2Doc	查询 → 文档	拓展语义，增强匹配能力
Doc2Query	文档 → 查询	增加入口，支持数据增强和召回

 在现代语义检索系统中，双向改写是连接“用户语言”和“文档语言”的桥梁，让机器更懂人，也让文档更好地被人找到。