一、When & Why & Where & Who
1. LLM模型的几个缺点
1)幻觉:信息过时快(知识更新速度),2)查知识效率低,3)缺乏专业领域洞察
解决方案:检索增强生成技术(Retrieval-Augmented Generation,RAG)
2. RAG概念源自何处?
(2023.12)一篇同济大学和复旦大学的综述论文:Retrieval-Augmented Generation for Large Language Models: A Survey
(论文地址见https://arxiv.org/pdf/2312.10997)
二、What & How
1. RAG案例
with RAG的情况,会通过索引检索相关文档后,将检索结果、提示词、问题一起给LLM处理生成回答。
2. 技术范式(分类)
三个范式之间是继承与发展的关系。
Advanced RAG 是 Modular RAG 的一种特例形式,而 Naive RAG 则是 Advanced RAG 的一种特例。
3. 核心组件
检索器、生成器、增强方法
4. 生态系统
5. 效果评估
三个质量评分:上下文相关性、答案忠实性和答案相关性
四个关键能力:噪声鲁棒性、拒答能力、信息整合和反事实鲁棒性
三、Comparison
1. 技术对比
2. RAG与微调对比