第三讲 RAG笔记

1、RAG概述：

RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。

解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。

2、RAG路线：

Vector-DB:语料高质量固定长度向量化；向量相似度检索；向量表示优化

RAG范式：Naive RAG；Advanced RAG（检索前后增强）；Modular RAG（各种优化技术模块化）

RAG优化：嵌入优化；索引优化；查询优化；上下文管理；迭代检索；递归检索；自适应检索；LLM微调