LLM与RAG的初识-2

2 RAG的基础概念

2.1 RAG的组成部分

检索增强生成（RAG）主要由两个核心组件构成：检索器和生成器。

• 检索器：负责从外部知识库中检索与输入查询最相关的信息片段。这些信息片段可以是文档、段落、句子或任何其他形式的数据。检索器利用嵌入模型将用户查询嵌入到与向量数据库中额外上下文相同的向量空间，进行相似性搜索，从而返回最接近的信息片段。
• 生成器：将检索器提供的信息片段整合成流畅、连贯的文本。生成器通常是一个大型语言模型，它能够理解和使用检索到的信息片段来生成与用户查询紧密相关的文本。生成器的作用是确保生成的文本不仅准确，而且从语言的角度来看是流畅和自然的。
  

2.2 检索器的作用

检索器在RAG框架中扮演着至关重要的角色。其主要职责是从一个庞大的知识库中检索出与输入查询最相关的信息片段。这些信息片段可以是文档、段落、句子或任何其他形式的数据。检索器的目标是确保检索到的信息与用户查询高度相关，从而为生成器提供准确和丰富的输入。

2.3 生成器的作用

生成器的作用则是将检索器提供的信息片段整合成流畅、连贯的文本。它利用这些信息片段来指导、优化和丰富生成过程，从而生成既准确又具有信息量的文本。生成器通常是一个大型语言模型，它能够理解和使用检索到的信息片段来生成与用户查询紧密相关的文本。
RAG的架构独特，结合了序列到序列（seq2seq）模型与密集通道检索（DPR）组件。这种融合使模型能够生成基于准确信息的上下文相关响应。RAG通过强大的事实检查和验证机制建立透明度，以确保可靠性和准确性。RAG的这种设计允许它从外部知识源检索相关信息，增强大型语言模型生成精确、准确且上下文丰富的答复的能力。

2.4 RAG与Fine-Turning的关系

• 区别性

特性	检索增强生成 (RAG)	微调(Fine-Turning)
应用场景	适用于需要实时、准确信息检索和生成的场景，如问答系统、实时内容生成等。	适用于需要模型适应特定数据分布或领域知识的场景，如情感分析、文本分类等。
工作方式	通过检索器从外部知识库中检索相关信息，再由生成器整合这些信息生成文本。	通过在特定任务上对预训练模型进行进一步训练，使其更好地适应特定数据分布。
效果	能够生成准确、相关的文本，同时确保信息的时效性和准确性。	能够提高模型在特定任务上的性能，但可能受限于训练数据的范围和质量。
数据需求	需要访问外部知识库，对数据的质量和多样性要求较高。	需要大量标注数据，对数据的质量和标注准确性要求较高。
模型适应性	可以通过更新知识库来适应新的信息和领域，灵活性强。	需要重新训练模型以适应新的数据分布或领域，灵活性相对较低。

• 连续性
  RAG和微调不是相互排斥的，而是可以相互补充，从不同层面增强模型的能力。在某些情况下，结合这两种技术可以实现最佳的模型性能。

相关文章

链接: LLM与RAG的初识-1

参考文献

[1] Yunfan G, Yun X, Xinyu G, Kangxiang J, Jinliu P, Yuxi B, Yi D, Jiawei S, Haofen W, et al. Retrieval-Augmented Generation for Large Language Models: A Survey[J], CoRR, 2023, abs/2312.10997
[2] Deng C, Yan W, Lemao L, Shuming S, et al. Recent Advances in Retrieval-Augmented Text Generation[C], Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 2022: 3417–3419.
[3] Ruochen Z, Hailin C, Weishi W, Fangkai J, Do X L, Chengwei Q, Bosheng D, Xiaobao G, Minzhi L, Xingxuan L, Shafiq J, et al. Retrieving Multimodal Information for Augmented Generation: A Survey.[J], CoRR, 2023, abs/2303.10868: 4736-4756.
[4] Xin C, Di L, Xiuying C, Lemao L, Dongyan Z, Rui Y, et al. Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory[J], CoRR, 2023, abs/2305.02437
[5] Zhihong S, Yeyun G, Yelong S, Minlie H, Nan D, Weizhu C, et al. Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy.[J], CoRR, 2023, abs/2305.15294: 9248-9274.
[6] Menglin X, Xuchao Z, Camille C, Guoqing Z, Saravan R, Victor R, et al. Hybrid Retrieval-Augmented Generation for Real-time Composition
Assistance[J], CoRR, 2023, abs/2308.04215
[7] Zachary L, Chenglu L, Wangda Z, Anoushka G, Owen H, Millie-Ellen P, Wanli X, et al. Retrieval-augmented Generation to Improve Math Question-Answering: Trade-offs Between Groundedness and Human Preference[J], CoRR, 2023, abs/2310.03184