当前AI领域快速发展,各种新概念层出不穷,其中Retrieval-Augmented Generation(简称RAG)和长上下文Large Language Models(LLMs,以下简称长上下文LLM)成为了当下热议的话题。开发者和研究人员在特定AI场景中,往往难以抉择是选择基于检索增强生成的系统架构(RAG(Retrieval Augmented Generation)及衍生框架:CRAG、Self-RAG与HyDe的深入探讨),还是为了节省工作量而直接使用长上下文的大型语言模型(LLM)?今天我们一起来聊一聊这两种技术。
一、RAG:检索增强生成的奥秘
1. RAG的定义与起源
检索增强生成(Retrieval-Augmented Generation,简称RAG)是一种通过引入可信赖的数据源(如经确认的权威来源或组织内部知识库)来增强大型语言模型(LLM)能力的技术。这一术语源自MetaAI(前身为Facebook AI Research)2020年发表的一篇论文《Retrieval Augmented Generation for Knowledge Intensive tasks》(面向知识密集型任务的检索增强生成)。RAG在生成过程中嵌入了一个数据检索步骤,这一步骤服务于多重目的。
2. RAG的运作机制
RAG的核心在于其检索和生成相结合的能力(