同济大学：模块化RAG增强LLM系统拓展性

📖标题：Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks
🌐来源：arXiv, 2407.21059

摘要

检索增强生成（Retrieval-augmented Generation，简称RAG）显著提升了大语言模型（Large Language Models，简称LLM）在处理知识密集型任务方面的能力。应用场景的不断增加推动了RAG的发展，导致先进的检索器、LLM和其他互补技术的整合，进而增加了RAG系统的复杂性。然而，快速的发展已经超越了基础的RAG范式，许多方法难以在“先检索再生成”的过程下统一。在这种情况下，本文研究了现有RAG范式的局限性，并引入了模块化RAG框架。通过将复杂的RAG系统分解为独立的模块和专门的运算符，它提供了一个高度可重构的框架。模块化RAG超越了传统的线性架构，采用了更先进的设计，集成了路由、调度和融合机制。本文还基于广泛的研究，识别了普遍的RAG模式——线性、条件、分支和循环，并对它们各自的实现细节进行了全面分析。模块化RAG为RAG系统的概念化和部署提供了创新性的机会。最后，本文探讨了新运算符和范式的潜在出现，为RAG技术的持续演进和实际部署建立了坚实的理论基础和实践路线图。

🛎️文章简介

🔸研究问题：RAG系统如何应对复杂数据源集成和系统维护的挑战？
🔸主要贡献：论文提出了模块化RAG框架，通过乐高积木般的可重构框架，增强了系统的可扩展性和适应性。

📝重点思路

🔺相关工作

🔸RAG的发展可以概括为三个阶段：最初为了提高LLM在知识密集型任务上的性能，然后补充额外知识和提供参考来减少幻觉，接着聚焦于图网络结合和微调技术。
🔸RAG方法分为四个主要类别：检索前、检索中、检索后和生成，涉及检索器、语言模型和增强三部分。
🔸RAG评估考虑鲁棒性、准确性和相关性，业内对比了无训练方法、独立训练方法、序列训练方法和联合训练方法的优缺点。

🔺论文方案

🔸首先，探讨了现有RAG范式的局限性，将RAG系统分解为多个层次和模块，包括索引、预检索、检索、后检索、生成和编排等，每个模块都有特定的功能和操作符。
🔸然后，基于广泛的研究，探讨了不同的RAG流程模式，如线性、条件、分支和循环，通过这些模式来优化系统的性能和适应性。
🔸最后，探讨了潜在的新算子和范式，为RAG技术的持续演进和实际部署奠定了坚实的理论基础和实践路线图。

🔺案例研究

🔸在RAG系统中，合理设置文档切片的大小和重叠度对系统的整体效果至关重要。
🔸针对不同任务场景，选择适当的检索器是关键。
🔸通过对检索结果进行重新排序，可以提高关键文档切片的可见性。
🔸利用语言模型在检索过程中对文档进行后处理，可以更好地利用上下文信息。

🔎分析总结

🔸模块化RAG框架能够有效地集成和管理多种数据源，提高系统的灵活性和可维护性。
🔸通过不同的流程模式和调优方法，系统能够更好地适应各种应用场景，提高查询处理和知识生成的效率。

💡个人观点

论文的创新点在于引入了模块化设计的思想，将复杂的RAG系统拆分为离散的功能模块，提高了系统的可理解性和精确性。

附录