腾讯: Query改写不是你RAG使用LLM查询优化的唯一方案

最新推荐文章于 2025-04-03 17:48:25 发布

程序员笑武

最新推荐文章于 2025-04-03 17:48:25 发布

阅读量1k

点赞数 15

文章标签：人工智能职场和发展面试 langchain 自动驾驶

本文链接：https://blog.csdn.net/m0_59164304/article/details/144917148

版权

在大语言模型（LLMs）的应用中，检索增强生成（RAG）技术虽有进展，但也面临挑战，尤其是在处理复杂或特定领域查询时。查询优化（QO）对于提升 RAG 的效率和质量至关重要，其包含多种技术。

腾讯最新QO技术研究综述，四大类Query优化：扩展、分解、消歧、抽象。

1. Query Expansion（查询扩展）

查询扩展可以基于不同的知识来源，分为内部扩展和外部扩展。

1.1 内部扩展（Internal Expansion）

技术与原理：内部扩展主要针对信息时效性较低的查询，这些信息通常包含在LLMs的预训练阶段内嵌入的知识。如：
利用设计指令让 LLMs 生成上下文文档辅助回答；
借助 LLMs 的少样本提示生成伪文档扩展查询；
先生成初始输出，再检索信息优化输出；
让检索模型利用 LLM 生成知识集合扩展查询知识，同时 LLM 借助检索文档优化提示；
用零样本提示生成假设文档，经对比编码器处理后检索相似真实文档；
基于原始查询预测未来内容并检索信息，迭代优化；
利用 LLMs 零样本推理生成多样查询和文档，相互验证实现扩展；
用零样本指令的释义生成多组关键词提升检索效果；
从 LLMs 提取参数知识并用查询优化器优化查询。
应用场景：适用于信息时效性较低、相关知识可能包含在 LLMs 预训练阶段的查询，如 “2020 年夏季奥运会将在何处举行？” 可通过内部扩展优化。

1.2 外部扩展（External Expansion）

技术与原理：外部扩展主要针对通常需要从知识库或网络中搜索事实的高度时效性查询。如：
用 LLMs 结合查询和潜在答案（通过标准检索获取）扩充查询；
利用初始检索文档关键信息优化查询；
挖掘语料库知识，用 LLMs 评估相关性确定关键句子扩展查询；
让 LLMs 生成伪参考并与查询结合增强检索器。
应用场景：针对需要从外部获取最新事实的高度时效性查询，如 “2024 年夏季奥运会将在何处举行？” 可通过外部扩展从知识库检索相关信息优化。

2. Question Decomposition（问题分解）

2.1 技术与原理

对于复杂查询，简单地使用原始查询进行搜索通常无法检索到足够的信息。因此，LLMs需要先将这些查询分解成更简单、可回答的子查询，然后搜索与这些子组件相关的信息。通过整合这些子查询的响应，LLMs能够构建对原始查询的全面响应。如：
在 LLM 和检索模型间传递自然语言文本，将问题分解为小转换处理；
用少样本提示分解复杂问题为简单子问题依次解决；
制定计划划分任务为子任务按计划执行；
用查询扩展模型生成多样查询，经重排选择更好检索结果；
先准备初步答案和理由，根据知识域纠正理由；
从相关任务数据源转移推理能力，分解复杂查询；
让 LLMs 生成推理痕迹和行动，动态推理并与外部环境交互；
分解复杂问题为可控粒度子查询，用强化学习迭代改进；
迭代处理子查询，结合文本相关性和自知识回答能力；
用预定义模式从知识图谱提取实例生成复杂查询和子查询；
用问题增强器生成多视角子查询处理复杂表格推理；
用小 LLM 生成计划，包含调用工具、顺序和参数；
分解原始查询为多跳查询，用 CoT 整合答案；
将知识编辑存于外部记忆，分解多跳查询为子问题，迭代查询获取答案；
用子方面探索器剖析查询，结合多方面检索器回答。

2.2 应用场景

适用于需要检索多个事实以形成全面答案的复杂查询，如：

“在 2024 年夏季奥运会上，中国在乒乓球或羽毛球上赢得的奖牌更多？” 可优化为 “中国在 2024 年奥运会乒乓球上赢得了多少奖牌？” 和 “中国在 2024 年奥运会羽毛球上赢得了多少奖牌？” 两个子查询；
“2024 年奥运会男子单打乒乓球金牌得主的出生日期是什么时候？” 可优化为 “2024 年夏季奥运会男子单打乒乓球冠军是谁？”（假设冠军是）和 “的出生日期是什么时候？” 两个子查询。

3. Query Disambiguation（查询消歧）

3.1 技术与原理

查询消歧旨在识别和消除复杂查询中的歧义，确保查询是明确的。这涉及到确定查询中可能被多种方式解释的元素，并细化查询以确保单一、精确的解释，也就是通过多种方式澄清意图。如：
引入基于自然语言的演绎推理格式，分解推理过程为子过程，增强推理严谨性；
用特定提示让模型重述查询再推理；
用少样本提示和外部知识构建歧义查询的消歧树获取长答案；
用 “rewrite-then-edit” 框架让 LLMs 改写和编辑查询消除歧义；
用对话答案建模检索器偏好，优化改写器；
整合检索文档和生成响应的多方面反馈探索最优改写策略；
利用 LLMs 的 NLP 能力（如解决共指关系、扩展上下文）减少对话历史歧义，通过多种方式将优化后的对话历史融入框架。

3.2 应用场景

主要针对模糊查询，如：

“2024 年夏季奥运会乒乓球单打冠军是谁？” 可能指代男子或女子单打冠军，可消歧为 “2024 年夏季奥运会女子乒乓球单打冠军是谁？” 和 “2024 年夏季奥运会男子乒乓球单打冠军是谁？” 两个子查询。

4. Query Abstraction（查询抽象）

4.1 技术与原理

查询抽象旨在提供对事实需求的更广泛视角，可能导致更多样化和全面的结果。这涉及到识别和提炼查询的基本意图和核心概念元素，然后创建一个高层次的表示，捕捉本质含义的同时去除具体细节。如：
用精心设计提示引导 LLM 推理，使输出契合原始查询意图；
要求 LLMs 对抽象查询进行概念推理，在可验证符号空间生成解决方案；
将通用 CoT 推理抽象为含抽象变量推理链，借助领域工具解决查询；
用抽象框架构建推理过程，集成不同层次抽象；
生成高层抽象信息作查询上下文背景；
定义查询方面辅助复杂查询推理；
解构查询语义为通用符号表示，学习通用推理模式；
通过两阶段（查询到模式、模式到子图）用语言模型和图语义距离处理查询与知识图谱结构对齐。

4.2 应用场景

适用于需要理解并应用领域特定推理及数据上下文的查询，如 “中国举办过多少次奥运会？” 可抽象为 “奥运会的举办历史”，为理解和回答查询提供更广泛背景。

5. 查询优化核心技术的分类树

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述