【论文阅读】Searching for Best Practices in Retrieval-Augmented Generation

最新推荐文章于 2025-06-03 20:09:09 发布
最新推荐文章于 2025-06-03 20:09:09 发布
阅读量1.9k 收藏 18
点赞数 31
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41502855/article/details/140935160
版权

这篇论文对RAG的整个workflow以及各个模块进行了非常详细的讨论，甚至对各个模块的方法都做了实验对比，从而来找到RAG的最佳实践。整个阅读下来获益良多，对RAG的很多有了更系统性的认识，同时感慨下RAG的技术栈还是很广的，每个环节都有可以深入学习的地方。

总的来说，文章有3个核心贡献点：

1、探索了RAG各个组件的最佳配置

2、提出RAG评估框架和评估数据集

3、提出“retrieval as generation”, 提升图文问答能力，最后这点是一个比较novel的观点。

Related work

Query and Retrieval Transformation (pre-query & post-query处理)

pre-query: 

query2doc/hyde: query -> pseudo-doc -> enhance retrieval

Toc: query -> subqueries -> aggregated retrieval results

LLamaIndex: query -> pseudo-queries -> improve retrieval

post-query:

hierarchical prompt summarization

abstractive and extractive compressor -> reduce context length and remove redundancy

Retriever Enhancement Strategy (in retrieval提升)

chunk:

smarll2big, sliding window

ranking:

deep learning model: BERT, T5, LLama

TILDE

Retriever and Generator Fine-tuning

LLM finetuning

retrieval finetuning

LLM + retriever finetuning

RAG workflow

RAG工作流通常包含多个中间处理步骤: query classification(确定给定的输入查询是否需要检索)、retrieval(有效地获取查询的相关文档)、reranking(根据检索文档与查询的相关性改进检索文档的顺序)、repacking(将检索的文档组织成结构化的文档以便更好地生成)、summarization(从重新打包的文档中提取用于生成响应的关键信息并消除冗余)模块。

query classification 搜 or 不搜？

sufficient information -> 不搜

insufficient information -> 搜

chunking

token粒度：句子截断，语义截断

语义粒度：使用大模型决定断点，耗时长

句子粒度：既保留语义完整且高效 

chunk size的设置很关键，因此文章针对不同的chunk size进行实验，实验最佳结果是512token（检索+生成）

 常用的chunk技术有两种，small2big和sliding window

文中提到small (175 token) big(512 token)

对比small2bug和sliding window的结果如下： 

Embedding 

LLM-Embedder与BAAI/ big -large-en的效果相当，但LLM-Embedder的尺寸比BAAI/ big-large-en小三倍

向量数据库

选择向量数据库要考虑的4个标准:
多种索引类型提供了基于不同数据特征和用例优化搜索的灵活性。十亿尺度向量支持对于LLM应用程序中处理大型数据集至关重要。混合搜索将矢量搜索与传统的关键词搜索相结合，提高了检索精度。云原生功能确保了云环境中的无缝集成、可伸缩性和管理。

搜索模型对比

数据集：

TREC DL19, TREC DL20

基线：

BM25 sparse retrieval

Contriever dense retrieval

结论：

supervised > unsupervised

考虑性能， Hyde + Hybrid Search

考虑时延，Hybrid Search（BM25 + LLM-Embedder）

Hyde Search

关于Hyde Search中的最佳pseudo-doc数量，1个最佳

 

Hybrid Search

sparse retrieval和dense retrieval如何融合，sparse的权重为0.3时，效果最佳

Reranking

根据实验结果，不同的场景使用不同的重排模型

Repacking

对检索出的chunk拼接方式

forward: score从高到低

reverse：score从低到高

sides: optimal performance is achieved when relevant information is placed at the head or tail of the input, we also include a “sides” option.

这里选择sides是因为在检索模型和重排模型最佳的情况下，sides最优

Summarization

检索出的chunk中包括很多无效信息，通过extractive提取关键信息，abstractive压缩信息形成摘要。实验结果中，recomp是最佳的summarization model

Generator Fine-tuning

正确的微调方式, mix relevant and randomly selected doc, 另一篇论文《RAFT: Adapting Language Model to Domain Specific RAG》则更为详尽地探讨了RAG中generator的微调方法

Comprehensive Evaluation 

一个综合性的评测结果如下表：

Query Classification Module:有助于提高效率和有效性，使总体得分从0.428提高到0.443，并将每个查询的延迟时间从16.41秒减少到11.58秒。

Retrieval Module:虽然Hybrid与HyDE方法的RAG得分最高，为0.58，但它的计算成本相当高，每个查询11.71秒。因此，建议使用Hybrid或Original方法，因为它们在保持相当性能的同时减少了延迟。

Reranking Module:重排名模块的缺失导致性能明显下降。MonoT5获得了最高的平均分，肯定了它在增强检索文档相关性方面的有效性。这表明重新排序在提高所生成回复的质量方面的关键作用

Repacking Module：reverse表现出更好的性能，RAG得分为0.560。这表明，将更相关的上下文定位到更靠近query的位置会产生最佳结果。

Summarization Module: 提升比较小，删除该模块追求更小的时延。尽管如此，Recomp仍然是首选，因为它能够解决generator最大长度限制。

Discussion：

1、RAG的最佳实践分为两种情况：

追求极致性能：为了获得最高性能，建议合并查询分类模块，使用“Hybrid with HyDE”方法进行检索，使用monoT5进行重新排序，选择Reverse进行重新打包，并利用Recomp进行汇总。这种配置的平均得分最高，为0.483，尽管这是一个计算密集型的过程。

平衡性能和时延：为了在性能和效率之间取得平衡，建议合并查询分类模块，实现Hybrid方法进行检索，使用TILDEv2进行重新排序，选择Reverse进行重新打包，使用Recomp进行汇总。考虑到检索模块占系统处理时间的大部分，在保持其他模块不变的情况下转换到Hybrid方法可以大大减少延迟，同时保持相当的性能。 

2、Multimodal Extension

RAG图文问答，将text2image和image2text检索功能整合到系统中，并将大量成对的图像和文本描述集合作为检索源。

这么做的3个好处：

Groundedness: 可溯源的描述文本的可信度  > 模型生成的可信度

Efficiency: 检索比生成更高效

Maintainability:可维护性强，模型需要持续微调迭代，而检索只需要持续补充最新数据源

Future work

1、探索“training both the retriever and generator jointly” 

2、由于chunk和向量数据库的高成本，chunk技术并未端到端验证，进一步探索chunk技术对RAG整个系统的影响

3、除了图片，继续探索RAG在语音，视频上的应用。

Yanc_L
关注
大模型——最全梳理 一文搞懂RAG技术的5种范式！
03-26 355
高级 RAG 引入了具体的改进措施，以克服 Naive RAG 的局限性。为了提高检索质量，它采用了检索前和检索后策略。为了解决索引问题，高级 RAG 通过使用滑动窗口方法、细粒度分割和元数据的整合，改进了索引技术。此外，它还采用了多种优化方法来简化检索过程。模块化 RAG 架构超越了前两种 RAG 范式，具有更强的适应性和多功能性。它采用了多种策略来改进其组件，例如为相似性搜索添加搜索模块，以及通过微调完善检索器。为应对特定挑战，还引入了重组 RAG 模块和重排 RAG 管道等创新方法。
【中英文阅读】Anthropic：如何高效构建Agent？从简单到复杂带你体会Agent应用架构的真谛
AI天才研究院
12-24 309
workflows and agents"代理"可以有多种定义方式。一些客户将代理定义为在长时间内独立运行的完全自主系统使用各种工具来完成复杂任务。其他人则用这个术语来描述遵循预定义工作流程的更具体实现。Workflows工作流是一套系统，其中LLMs和工具通过预定义的代码路径进行编排。Agents代理，另一方面，是系统，其中LLMs 动态地指导它们自己的流程和工具使用，保持对完成任务方式的控制。以下，我们将详细探讨这两种代理系统的类型。
大模型RAG最佳实践指南
m0_59235699的博客
09-19 1188
今天给大家分享一个比较干的研究论文，作者们来自复旦大学。大模型时代的RAG已经经过一年多的锤炼，各种高级RAG技巧层出不穷，那到底什么技巧是有用的，哪些技巧搭配到一起才是最有效的呢？检索增强生成（RAG）技术已被证明可以有效地整合最新信息、减轻幻觉和提高响应质量，特别是在专业领域。尽管已经提出了许多 RAG 方法来通过依赖于查询的检索来增强大型语言模型，但这些方法仍然存在复杂的实现和较长的响应时间。通常，RAG 工作流程涉及多个处理步骤，每个处理步骤都可以通过多种方式执行。
【大模型-RAG】RAG最佳实践论文及项目解读
ccql's Blog
09-05 1877
论文《Searching for Best Practices in Retrieval-Augmented Generation》由复旦大学的研究人员撰写，旨在探索RAG技术的最佳实践。RAG通过结合预训练模型和基于检索的模型，提供了一个增强模型性能的稳健框架。论文通过广泛的实验，提出了几种策略，旨在在性能和效率之间取得平衡。
Searching for Best Practices in Retrieval-AugmentedGeneration——检索增强生成中的最佳实践探索
Together_CZ的博客
12-11 1029
Searching for Best Practices in Retrieval-AugmentedGeneration——检索增强生成中的最佳实践探索
RAG(检索增强生成) 的最佳实践
因为无知，所以奋斗！
09-12 1084
RAG 的过程很复杂，包含许多组成部分。我们如何确定现有的 RAG 方法及其最佳组合，以确定最佳 RAG 实践？本文介绍了一项名为“Searching for Best Practices in Retrieval-Augmented Generation”的新研究。本研究旨在解决这个问题。文章分为四个部分：典型RAG工作流程介绍、每个RAG模块的最佳实践、全面评估和作者的思考与见解。
检索增强生成(RAG)技术方法流程最佳实践实验探索
zenRRan的博客
07-21 615
来自：旺知识脆弱的不确定性：大模型的可信度如何被操控检索增强生成（RAG）技术已被证明在整合最新信息、减轻幻觉问题以及提高特定领域内响应质量方面是有效的。尽管如此，许多RAG方法仍因复杂的实现和延长的响应时间而受到影响。典型的RAG工作流程包含多个处理步骤，每个步骤都可以以不同的方式执行。在这里，我们调查现有的RAG方法及其潜在的组合，以识别最佳的RAG实践。通过广泛的实验，我们提出了几种部署RA...
深入现有RAG，找出性能和效率的最佳实践
Debroon
07-10 1595
检索即生成”（Retrieval as Generation）策略是一种结合检索和生成模型来快速提供多模态内容的方法，特别是在视觉问答（Visual Question Answering, VQA）等应用中。作者描述了两种实施检索增强生成（RAG）系统的最佳实践方法，每种方法都针对特定需求进行了定制：一种注重最大化性能，另一种在效率和效果之间寻求平衡。：研究旨在通过实验确定 RAG 的最佳实践，包括评估不同方法对整体性能的影响，并最终选择每个步骤最有效的方法。：实现这些步骤存在多样性和复杂性。
Searching for Best Practices in Retrieval-Augmented Generation
03-18
Searching for Best Practices in Retrieval-Augmented Generation检索增强生成的最佳实践探索
计算机、机器视觉、图像处理顶级会议的最佳论文Best Paper Awards in Computer Science
机器视觉、图像处理、OpenCV
11-12 7730
BestPaper Awards in Computer Science (since 1996) By Conference:   AAAI   ACL   CHI   CIKM   CVPR   FOCS   FSE   ICCV   ICML   ICSE   IJCAI   INFOCOM  KDD  NSDI   OSDI   PLDI   PODS
检索增强生成的最佳实践探索
zengxiaojian2的博客
07-20 1267
许多RAG方法已被提出，旨在通过依赖查询的检索来增强大型语言模型（LLMs）。典型的RAG工作流程通常包含多个中间处理步骤：查询分类（确定是否需要对给定输入查询进行检索）、检索（高效获取与查询相关的文档）、重排序（根据文档与查询的相关性对其进行排序）、重组（将检索到的文档组织成结构化形式以更好地进行生成）、摘要（从重组文档中提取用于响应生成的关键信息并消除冗余）模块。实施RAG还需要决定如何适当地将文档分割成块、选择用于语义表示这些块的嵌入类型，以及。
什么是检索增强生成（Retrieval-Augmented Generation，RAG）
l8947943的博客
03-30 1681
检索增强生成（Retrieval-Augmented Generation，RAG），是指为大模型提供外部知识源的概念。能够让大模型生成准确且符合上下文的答案，同时能够减少模型幻觉。用最通俗的语言描述：在已有大模型的基础上，外挂一个知识库，让大模型学习这个知识库后，回答的内容与知识库更为相关，与实际业务场景更加贴切，符合我们的需求。
2024年7月2日Arxiv语言模型相关论文
数智笔记
07-02 2175
原标题作者机构摘要: 大语言模型（LLMs）和RAG系统现在能够处理数百万个或更多的输入标记。然而，在长文本任务上评估这些系统的输出质量仍然具有挑战性，因为像“大海捞针”这样的任务缺乏复杂性。在这项工作中，我们认为总结可以在这种评估中发挥核心作用。我们设计了一个程序来合成文件堆，确保特定的“洞见”在文件之间重复出现。然后，“大海捞针摘要”（SummHay）任务要求系统处理文件堆，并生成一个摘要，根据查询确定相关的见解并精确引用源文件。
传神论文中心｜第16期人工智能领域论文推荐
OpenCSG的博客
07-10 620
这种方法在MATH上进行的分布外评估中显示了其高质量，微调后的模型在107万道数学题上取得了64.9%的成绩，匹敌GPT-4-turbo-preview，但仅需7B规模。对于希望生成多样化、高质量合成数据的研究人员和开发者来说，这项研究提供了宝贵的洞见和工具，具有广泛的应用前景和重要的实践意义。在人工评估中，Ctrl-G的满意率比GPT-4高出30%以上，展示了其显著的优势。对于希望提升语言模型生成质量和逻辑一致性的研究人员和开发者来说，这一研究提供了宝贵的工具和见解，具有广泛的应用前景和实际价值。
一问讲透什么是 RAG，为什么需要 RAG？
weixin_53880910的博客
08-16 1108
如果使用 pretrain 好的 LLM 模型，应用在你个人的情境中，势必会有些词不达意的地方，例如问 LLM 你个人的信息，那么它会无法回答;这种情况在企业内部也是一样，例如使用 LLM 来回答企业内部的规章条款等。 这种时候主要有三种方式来让 LLM 变得更符合你的需求：
RbFT：针对RAG中检索缺陷的鲁棒性微调
yanqianglifei的专栏
02-10 1190
总体而言，这篇论文针对RAG系统在面对检索缺陷时的脆弱性问题，提出了一种有效的鲁棒性提升方法RbFT，并在多个数据集上验证了其有效性，为实际应用中提高RAG系统的鲁棒性提供了有价值的解决方案。
论文阅读：CLIP:Learning Transferable Visual Models From Natural Language Supervision
最新发布
记录图像处理中遇到的点点滴滴
06-03 822
openai_CLIP论文泛读，深入打通文字和图片的壁垒
【人工智能】deepseek七篇论文阅读笔记大纲
Lifelong learning.
05-29 516
研读了deepseek的论文，文章内容太多觉得有必要亲自整理，自己动手才记得住
GLIDE论文阅读笔记与DDPM（Diffusion model）的原理推导
qq_73553710的博客
06-03 873
扩散模型（Diffusion model）最近被证明可以生成高质量的合成图像，尤其是当它们与某种引导技术结合使用时，可以在生成结果的多样性与保真度之间进行权衡。本文探讨了在文本条件图像生成任务中使用扩散模型，并比较了两种不同的引导策略：CLIP 引导和无分类器引导。我们发现，人类评估者更倾向于使用无分类器引导方法，无论是在照片真实感还是与文本描述的匹配度方面，该方法通常都能生成具有高度真实感的图像样本。使用无分类器引导的一个 35 亿参数文本条件扩散模型生成的图像样本，在人类评估中优于 DALL-E 的输出
IAR 报错incomplete type is not allowed
04-09
<think>好的，我现在要解决用户在IAR编译器中遇到的错误：“incomplete type is not allowed”。首先，我需要理解这个错误的含义和常见原因。根据我的知识库，这个错误通常发生在代码中使用了未完全定义的类型，比如结构体或联合体声明了但未定义，或者前向声明了某个类型但没有提供完整的定义。 首先，我应该检查用户代码中是否有结构体或联合体的声明但没有定义的情况。比如，如果有一个结构体声明为`struct MyStruct;`，但没有后续的完整定义，那么在需要该结构体大小或成员的地方，编译器就会报这个错误。这时候，需要用户补全结构体的定义，包括成员变量。 其次，检查是否在头文件中只声明了类型而没有包含定义。例如，如果在头文件中使用前向声明，但在使用该类型的源文件中没有包含实际的定义头文件，这也会导致错误。此时，需要确保在使用类型的地方包含了正确的头文件，或者将前向声明替换为完整的定义。 另外，还要考虑typedef的问题。如果用户使用了typedef创建别名，但原始类型未完全定义，同样会引发错误。例如，`typedef struct MyStruct MyType;`之后，如果尝试使用MyType但MyStruct尚未定义，就会出错。需要确保在使用typedef之前，原始类型已经被完整定义。 此外，数组声明中的类型不完整也是一个常见原因。比如声明数组时，如果元素类型未完全定义，编译器无法确定数组的大小，导致错误。需要检查数组声明中的类型是否已经完整定义。 可能还有其他情况，比如在C和C++混合编程时，如果没有正确使用extern "C"，或者在头文件中遗漏了必要的包含，也可能导致类型不完整。需要用户检查这些方面。 接下来，我需要将这些可能的原因整理成清晰的解决步骤，并给出具体的代码示例，帮助用户理解如何修改。同时，根据用户提供的引用内容，虽然引用[1]和引用[2]是关于其他错误的，但用户可能希望看到类似的结构，即分点说明解决方案，并引用相关资源。 最后，生成相关问题，帮助用户进一步了解可能相关的编译错误，比如类型未定义、前向声明问题等。这样用户可以有更全面的认识，预防其他类似错误的发生。</think>### IAR编译器错误'incomplete type is not allowed'解决方案 该错误表示代码中使用了**未完全定义的类型**，编译器无法确定其内存布局或成员信息。以下是具体原因及解决方法： #### 1. 结构体/联合体未定义完整 若声明了结构体但未定义成员，在实例化时会报错： ```c struct MyStruct; // 前向声明不完整 struct MyStruct var; // 错误：使用未完成类型 ``` **解决方案**：补全类型定义 ```c struct MyStruct { int id; char name[20]; }; ``` #### 2. 头文件包含缺失 当跨文件使用类型时，需确保定义可见： ```c // file.h struct Data; // 前向声明 // file.c struct Data { // 实际定义 int value; }; ``` **解决方案**：在使用该类型的文件中包含定义头文件 ```c #include "file.c" // 包含实际定义 ``` #### 3. typedef别名问题 使用typedef时原始类型必须完整： ```c typedef struct Node NodeT; // 前向声明 NodeT* ptr; // 允许指针声明 NodeT instance; // 错误：不完整类型 ``` **解决方案**：先完成类型定义再typedef ```c struct Node { int data; struct Node* next; }; typedef struct Node NodeT; ``` #### 4. 数组声明不完整 数组元素类型必须完全定义： ```c struct Element; struct Element arr[10]; // 错误：元素类型未定义 ``` **解决方案**： ```c struct Element { int type; float value; }; struct Element arr[10]; // 合法 ``` #### 调试建议 1. 在IAR工程中搜索错误行号定位问题代码 2. 使用Go to Definition功能追踪类型定义 3. 检查所有头文件包含链 4. 确认没有循环依赖的头文件 编译器需要知道类型的完整信息才能： - 计算sizeof大小 - 分配内存空间 - 访问成员变量 - 进行类型对齐 [^1]: 类似类型转换错误可参考浮点转整型的类型适配问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值