【RAG 论文】引入 query rewriter 来做查询重写实现对 RAG 的改进

最新推荐文章于 2024-11-21 13:57:11 发布
最新推荐文章于 2024-11-21 13:57:11 发布
阅读量2.9k 收藏 19
点赞数 27
分类专栏： LLM Research 文章标签： 语言模型 人工智能 自然语言处理 RAG 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45668004/article/details/138338836
版权
论文介绍了一种改进RAG模型的方法，通过在查询输入retriever前添加queryrewrite步骤，使用不可训练的LLM或可训练的LM。实验表明这种方法能提高效果。然而，研究仍面临下游任务的泛化与专业化的权衡以及训练效率的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文：Query Rewriting in Retrieval-Augmented Large Language Models
⭐⭐⭐⭐
EMNLP 2023
Code: github.com/xbmxb/RAG-query-rewriting

文章目录

一、论文速读

如下是一个常见的 RAG pipeline：

RAG pipeline

但这存在一个缺点：input text 和需要 query 的 knowledge 之间不可避免地会存在一个 gap。

本文提出：在将 query 输入给 retriever 之前，增加一个 query rewrite 步骤来弥补这个 gap：

增加 query rewrite

这样，就把之前 RAG 的 retrieve-then-read 改为了 Rewrite-Retrieve-Read 的框架。

同时&#

最低0.47元/天 解锁文章
Query Rewriting 优化技术
m0_70960708的博客
08-02 695
HyDE 方法看起来是无监督的，这种方法没有通过标注过的数据来训练任何模型，包括 generative model（译者注：其主要任务是从数据中学习数据的分布，然后可以用来生成类似于训练数据的新数据样本，通常用于生成图片、文本、音频等类型的数据。） 这种方法中，新的 query 用 q+ 表示，是最初的 query（q）和 pseudo-documents（d’）的简单连接，用 [SEP] 分隔：q+ = concat(q, [SEP], d’)。）” 由于特定时间范围的限制，直接解决这一问题极具挑战性。
论文阅读：Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Ef
温染的笔记
07-27 575
作者的研究发现了将 Query Rewriter 模块增强为 Query Rewriter+ 的机会，即通过生成多个查询来克服与单个查询相关的信息高原，以及通过重写问题来消除歧义，从而明确基本意图。作者还发现，当前的 RAG 系统在无关知识方面存在问题；为了克服这一问题，提出了知识过滤器。
DMQR-RAG: 基于多样化查询重写的检索增强生成
最新发布
yanqianglifei的专栏
11-21 846
当前大型语言模型（LLMs）在静态知识更新和产生幻觉（hallucinations）方面的挑战，特别是在实时场景中提供最新信息的难题。为了解决这个问题，该论文提出了一个名为DMQR-RAG（Diverse Multi-Query Rewriting for Retrieval-Augmented Generation）的框架，旨在通过多样化的多查询重写来改善文档检索和最终响应的性能。查询重写：用户查询经常包含噪声和意图偏差，直接检索往往无法获得足够相关的文档。因此，查询重写对于检索到相关文档非常关键。
RAG之query改写优化
qq_30921029的博客
04-08 2950
RAG系统涉及到对用户query做检索召回，好的query更有利于召回正确的结果。所以query analysis要做的就是对输入query做一个改写，让其语义更完善或格式更清晰。基于query改写好的文档如下，然后我们可以分别基于query和文档做检索。
LLM之RAG实战（二十八）| 探索RAG query重写
wshzd的博客
03-08 3409
2.将生成的假设文档输入编码器，将其映射到密集向量f(dk)，编码器具有过滤功能，过滤掉假设文档中的噪声。在密集检索中，新查询表示为q+，是原始查询（q）和伪文档（d'）的简单级联，由[SEP]分隔：q+=concat（q，[SEP]，d'）。我们可以看到，通过将原始查询“后退”到更抽象的问题，并使用抽象查询和原始查询进行检索，LLM提高了其遵循正确推理路径找到解决方案的能力。此外，还有一些方法，如查询路由、将查询分解为多个子问题等，它们不属于查询重写，但它们是预检索方法，这些方法将来将有机会引入。
RAG系统进阶：query rewrite高手必备的三大技巧，附代码实现
Python_cocola的博客
07-30 694
一个好的RAG系统需要一个好的检索模块，而一个好的检索模块需要一个好的query理解模块。这个博客，主要介绍3个常见的query改写方式。
RAG 06：生成结果的相关性低？ 快用 Query Rewriting 优化技术
DEVELOPERAA的博客
05-14 1031
在检索增强生成（Retrieval Augmented Generation，RAG）系统中，经常会出现与 user’s original queries（译者注：用户最开始输入的搜索问题或者其他需求。）有关的问题（例如，词汇不准确或缺乏语义信息），导致 RAG 系统难以理解。
mysql query rewrite_MySQL query_rewrite插件
weixin_35520787的博客
01-19 452
query_rewrite 插件功能MySQL 5.7 版本新特性作用是把输入的一种语句改写成另外一种模式优势是业务无法及时调整情况下通过MySQL将接收到的语句改写，如强制使用索引、子查询优化等安装插件支持社区版官方自带脚本安装# 安装脚本位于MySQL的share目录，脚本集成了安装插件，建相应库表操作mysql -S /tmp/mysql_sandbox5725.sock -uroot -p...
《Advanced RAG》-06-探索RAG技术 Query Rewriting
静愚AGI
08-07 1509
详细阐述了多种查询重写技术，这些技术用于在检索增强生成（RAG）中优化查询和文档之间的语义匹配。
来自学术界的知识库 RAG 调优方案实践（一)
易迟的专栏
05-28 2049
在之前的文章详细梳理过工业界的 RAG 方案QAnything和RagFlow，这次主要整理下来自学术界的一系列 RAG 优化方案。主要关注优化方案对应的设计思想以及相关的实现，希望可以对大家的 RAG 服务效果提升有所帮助。在综述论文Native RAG: 原始 RAG 架构，对应最原始的 RAG 流程，和之前搭建离线私有大模型知识库介绍的流程基本一致；Advanced RAG：高级 RAG 架构，在原始 RAG 上增加了一些优化手段，之前实践过的RAG Rerank。
Advanced RAG 06：生成结果的相关性低？ 快用 Query Rewriting 优化技术
Baihai_IDP的博客
05-07 2212
HyDE 方法看起来是无监督的，这种方法没有通过标注过的数据来训练任何模型，包括 generative model（译者注：其主要任务是从数据中学习数据的分布，然后可以用来生成类似于训练数据的新数据样本，通常用于生成图片、文本、音频等类型的数据。） 这种方法中，新的 query 用 q+ 表示，是最初的 query（q）和 pseudo-documents（d’）的简单连接，用 [SEP] 分隔：q+ = concat(q, [SEP], d’)。）” 由于特定时间范围的限制，直接解决这一问题极具挑战性。
采用大语言模型进行查询重写——Query Rewriting via Large Language Models
一位安分的码农的博客
04-02 2321
查询重写是在将查询传递给查询优化器之前处理编写不良的查询的最有效技术之一。手动重写不可扩展，因为它容易出错并且需要深厚的专业知识。类似地，传统的查询重写算法只能处理一小部分查询：基于规则的技术不能推广到新的查询模式，并且基于综合的技术无法处理复杂的查询。幸运的是，大型语言模型（大语言模型）的兴起，配备了广泛的常识和先进的推理能力，为解决一些以前未解决的问题带来了希望。在本文中，我们提出了GenRewrite，这是第一个利用大语言模型进行查询重写的整体系统。
mysql query rewrite_MySQL查询重写插件的使用
weixin_28809647的博客
01-27 587
查询重写插件从mysql 5.7.6开始，mysql server支持查询重写插件，可以在服务器执行之前检查并可能修改服务器接收的语句。以下是官方文档介绍：预解析重写插件具有以下特点：1.该插件允许在服务器处理之前重写到达服务器的sql语句。2.该插件接收一个语句字符串，并可能返回一个不同的字符串。后解析查询重写插件具有以下特征：1.该插件支持基于解析树的语句重写。2.服务器解析每个语句并将其解析...
高级RAG检索中的五种查询重写策略_用于检索增强的大型语言模型的查询重写
python12222_的博客
07-08 1218
检索增强生成 (RAG) 作为人工智能 (AI) 领域的一项重要技术，近年来得到了飞速发展。它将基于检索模型和基于生成的模型相结合，利用海量外部数据，生成更具信息量、更准确、更具语境相关性的回复。检索策略是 RAG 系统的关键组成部分，它直接影响着系统的性能和效率。在各种检索策略中，查询重写凭借其能够优化和改进检索过程，确保 AI 系统获取最相关信息的优势，成为了研究的热点。本文将深入探讨查询重写的机制、优势、挑战以及未来发展趋势，以期为相关研究和应用提供参考。
Query Rewriting for Retrieval-Augmented Large Language Models
weixin_43961909的博客
06-29 1376
大语言模型（LLM）在检索--然后阅读（retrieve--then--read）管道中发挥着强大的黑盒阅读器的作用，在知识密集型任务中取得了显著进展。这项工作从查询重写的角度出发，为检索增强型 LLMs 引入了一个新的框架，即重写-检索-阅读（Rewrite-RetrieveRead），而不是以前的检索-重写-阅读（Retrieve-then-read）。与之前侧重于调整检索器或阅读器的研究不同，我们的方法关注的是搜索查询本身的调整，因为输入文本与检索所需的知识之间不可避免地存在差距。
[论文笔记]Query Rewriting for Retrieval-Augmented Large Language Models
日积月累，天道酬勤
06-11 2510
⭐ 作者提出了可在查询之前先应用LLM作为重写器对问题进行重写，然后再走RAG的流程。同时也提出了可以训练一个小模型来作为重写器。但博主对该小模型的泛化能力存疑。建议还是通过在提示词中给一些示例，让LLM进行重写。
大语言模型：Query Rewriting for Retrieval-Augmented Large Language Models
qq_43210957的博客
03-14 1473
总体思路 作者首先指出大语言模型虽然取得了很好的效果，但是仍然存在幻觉和时间顺序混乱的问题，因此需要额外知识库和LLM内部知识库相结合，来修正； 因此优化传统的retriever-reader的方案成为需要； 目前的研究方案当中使用prompt优化的方法是黑盒的不可修改； 因此作者提出了采用大模型重写query的rewrite的方法来优化； 同时作者也提出这种重写的方法可以不是局限于大语言模型的，直接使用可训练的语言模型也能完成相关任务； 在实验当中这种方法对下游任务reader的效果取得了良好的效果。（
高级RAG检索中的五种查询重写策略
FrenzyTechAI的博客
05-22 6894
本文深入探讨了 RAG（Retrieval-Augmented Generation）检索策略中的高级查询重写技术。其中重点介绍了子问题查询、HyDE 查询转换、Query2doc、回溯提示和迭代检索生成等五种查询重写策略。这些策略的目的是通过重新构造查询来更准确地定位相关信息，从而提高 RAG 系统的检索效率和答案的精确度。通过 LlamaIndex 提供的代码示例，文章展示了如何实现这些策略，并分享了一些实用技巧。在实际应用中，选择合适的查询重写方法需要根据具体问题和性能要求来权衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值