什么是RAG
检索增强生成(Retrieval Augmented Generation,简称 RAG)向 LLM 提供了从特定数据源检索的信息,以此作为生成答案的基础。简而言之,RAG 结合了搜索和 LLM 的提示功能,在此基础上,模型根据搜索算法提供的信息,作为上下文来回答问题。这些查询和检索到的上下文会一并被注入到发送给 LLM 的提示中。
目前有两个最著名的开源库专注于基于 LLM 的流程和应用开发 —— LangChain 和 LlamaIndex。
为什么引入RAG:
目前LLM存在偏见、幻觉、时效性(由于只是按照概率空间进行输出),RAG的外部检索很好的解决了知识的动态性问题,从而保持了模型的时效性和准确性。
好处:
- 长尾知识 、私有数据、数据及时性 、来源性和可解释性能够很好的解决
- 幻觉问题没有很好的解决
微调的缺点:
- 1、对计算资源要求更高,参数量巨大,更加困难
- 2、知识并非是线性增加,有可能会遗忘一些知识,新的知识注入也需要一种更加便捷的方式
RAG 还是微调?
在大语言模型 (LLM) 的优化策略中,除了 RAG,我们还经常听到提示工程 (Prompt Engineering) 和微调 (Fine-tuning, FT)。使用 RAG 就好比给模型配备了一本定制的教科书,它能够针对特定的问题进行精准的信息查找。而微调则像是让模型变成一个学习者,随着时间逐步吸收和内化知识,这使得模型更擅长于复制特定的结构、风格或格式。
通过提升模型已有的知识水平、调整其输出结果以及训练它执行复杂的指令,微调能够提高模型的表现力和工作效率。然而,微调不太擅长融入新知识或快速应对新的使用场景。RAG 和微调并不是对立的,它们可以互相补充,在一起使用时可能会带来最好的效果。
编码器微调
关于编码器微调方法,持保留态度,因为最新的为搜索优化的 Transformer 编码器已经相当高效。我在 LlamaIndex 笔记本环境中测试了对 bge-large-en-v1.5(当时 MTEB 排行榜前四)的微调性能,发现其检索质量提升了 2%。虽然提升不大,但了解这一选项是有益的,特别是当你在针对特定领域数据集构建 RAG 时。
排名器微调
另一个选择是使用交叉编码器重新排名检索结果,这适用于那些不完全信任基础编码器的情况。
其工作方式是将查询和每个检索到的前 k 个文本块传递给交叉编码器,之间用 SEP Token 分隔,然后微调它以输出 1 表示相关块和 0 表示非相关块。
LLM 微调
最近 OpenAI 开始提供 LLM 微调 API,LlamaIndex 提供了在 RAG 设置中微调 GPT-3.5-turbo 的教程,旨在 “提炼” GPT-4 的部分知识。这里的思路是取一个文档,用 GPT-3.5-turbo 生成若干问题,然后用 GPT-4 根据文档内容回答这些问题(构建一个 GPT-4 驱动的 RAG 管道),接着对 GPT-3.5-turbo 在这些问题 - 答案对数据集上进行微调。使用 RAG 管道评估的 ragas 框架表明,信实度指标提高了 5%,意味着微调后的 GPT-3.5-turbo 模型比原版更好地利用了提供的上下文来生成答案。
一种更复杂的方法在最近的论文 RA-DIT:Retrieval Augmented Dual Instruction Tuning 中被提出,由 Meta AI Research 提出,建议同时调整 LLM 和检索器(原论文中的双编码器),基于查询、上下文和答案的三元组。
论文链接:https://arxiv.org/pdf/2310.01352.pdf
这种技术被用于通过微调 API 对 OpenAI LLM 进行微调,以及对 Llama2 开源模型进行微调,在知识密集型任务的指标上导致了约 5% 的提升(与 RAG 的 Llama2 65B 相比),并在常识推理任务上增加了一些百分点。
RAG整体框架
基础RAG
基础 RAG 案例的过程大致如下:首先,将文本分割成不同的段落;接着,使用某种 Transformer 编码器模型将这些段落转换成向量;然后,把这些向量存储到一个索引中;最后,为 LLM 创建一个提示,指引模型根据我们在搜索步骤中找到的上下文来回答用户的查询。
在实际运行时,我们使用相同的编码器模型将用户的查询转换成向量,然后对这个查询向量进行搜索,针对索引找到前 k 个结果,从数据库中检索相应的文本段落,并将它们作为上下文输入到 LLM 的提示中。
高级RAG
初级 RAG 在信息检索、内容生成和信息增强方面存在挑战。为此,高级 RAG 应运而生,它在检索前后加入了额外的处理步骤。在检索前,可以采用查询重写、路径选择和扩展等方法来缩小问题与文档片段之间的语义差异。检索后,对文档进行重新排序,以避免在信息处理中出现信息丢失或上下文信息过于冗长的问题。
注:绿色元素代表我们将要深入讨论的核心 RAG 技术,蓝色元素则表示文本
模块化 RAG
模块化 RAG结构不仅更加灵活自由,还引入了更多定制化的功能模块,例如查询搜索引擎和多答案整合。技术上,它将信息检索与微调、强化学习等技术相结合。从流程上看,RAG 的各个模块被精心设计和调配,形成了多种RAG模式。
但模块化 RAG 并非一蹴而就;它是在前两个范式基础上逐步演化而来的。高级 RAG 可以看作是模块化 RAG 的一个特殊实例,而初级 RAG 则是高级 RAG 的一个简化版本。
模型需要对文档进行切分chunks,不然由于上下文过长,有可能导致OOV问题
如何评价 RAG 的效果
评估 RAG 的方法多种多样,主要包括三个质量评分:上下文相关性、答案的准确度以及答案的相关性。此外,评估还涉及到四个关键能力:抵抗干扰的能力、拒绝回答不当问题的能力、整合信息的能力、以及在面对假设性情况时保持稳定性的能力。
评估框架方面,我们有一些基准测试如 RGB 和 RECALL,还有自动化评估工具如 RAGAS、ARES 和 TruLens,这些工具帮助我们全面地衡量 RAG 模型的性能。
在 Andrew NG 最近发布的精彩短课程《构建和评估高级 RAG》中,LlamaIndex 和评估框架 Truelens 提出了 RAG 三合一 —— 检索到的上下文与查询的相关性、基础性(LLM 答案由提供的上下文支持的程度)以及答案与查询的相关性。
https://learn.deeplearning.ai/building-evaluating-advanced-rag/
最关键且最可控的指标是检索到的上下文相关性 —— 本文上述的高级 RAG 管道的第 1-7 部分加上编码器和排名器微调部分旨在提高这个指标,而第 8 部分和 LLM 微调则专注于答案相关性和基础性。
关于检索器评估的简单管道例子请看:
https://github.com/run-llama/finetune-embedding/blob/main/evaluate.ipynb
它已应用于编码器微调部分。
一个更高级的方法,不仅考虑命中率,还包括平均倒数排名(一种常见的搜索引擎指标)以及生成答案的指标,如真实性和相关性,这在 OpenAI 的实用指南中有所展示。
LangChain 拥有一个高级的评估框架 LangSmith,它可以实现自定义评估器,并监控 RAG 管道中的运行轨迹,以提高系统的透明度。
如果你在使用 LlamaIndex 构建,可以使用 rag_evaluator llama pack,它提供了一个快速的工具,使用公共数据集评估你的管道。
RAG研究优化方向
想要打造一个出色的 RAG(检索增强生成)系统,关键在于如何巧妙地进行信息增强。在这个过程中,我们需要深思熟虑以下三个问题:
- 我们要从海量信息中检索哪些内容?
- 我们应该在什么时候进行这样的检索?
- 我们如何有效利用检索到的这些内容?
针对这些问题,我们可以将信息增强分为以下几个阶段:
- 增强的阶段。我们可以在模型的预训练、微调或是实际应用推理时进行信息检索增强,不同阶段对计算资源的需求各不相同,也影响着外部知识如何与模型参数结合。
- 增强的来源。信息增强可以来源于多种数据形式。非结构化数据可能是文本段落、短语或单词;而结构化数据则可能是已经建立好索引的文档、数据三元组或是数据子图。除了这些外部来源,我们还可以仅依靠大语言模型(LLMs)本身的能力,从模型自己生成的内容中提取信息。
- 增强的过程。最初,我们可能只做一次简单的检索,但随着技术的进步,我们开始尝试更为复杂的迭代检索、递归检索和自适应检索方法,让模型根据情况自行决定何时进行检索。
RAG 系统核心组件详细分类
发展前景
我们可以预见大模型和RAG技术将会共同进步,并可能融合发展。大模型可能会内置更加高效的检索机制,而RAG技术也会不断优化,使得检索过程更加精准、生成过程更加自然。在某些特定领域,大模型可能会逐渐减少对外部检索的依赖;但在需要处理最新信息或特定领域知识的任务中,RAG仍将是不可或缺的。
1、现有挑战
RAG 目前面临的挑战,我们考虑如下几个方面:
- 上下文长度:当检索到的内容过多,超出了模型处理的窗口限制,我们该如何应对?如果大语言模型 (Large Language Model, LLMs) 的上下文窗口不再有限制,我们应该如何优化 RAG?
- 鲁棒性:面对检索到的不正确内容,我们该如何处理?我们如何过滤和验证检索到的内容?我们能如何提升模型对抗错误信息和噪声的能力?
- 微调协同:如何同时发挥 RAG 和微调 (Fine-tuning, FT) 的效果?它们之间应该如何协调,是串行、交替还是端到端组织?
- 规模定律:RAG 模型是否遵循规模定律?在什么情况下,RAG 可能会出现逆规模定律的现象?
- 大语言模型的角色:LLMs 可以用于检索(用生成替代搜索或搜索 LLMs 的记忆)、生成和评估。我们如何进一步挖掘 LLMs 在 RAG 中的潜力?
- 生产部署:我们如何减少超大规模语料库的检索延时?我们如何确保 LLMs 检索到的内容不被泄露?
2、多模态扩展
RAG 的技术和概念正在不断进化,它们将如何扩展到图像、音频、视频或代码等其他数据形式?一方面,这可以增强单一模态内的任务性能;另一方面,它可以通过 RAG 的思想来实现多模态数据的融合。
3、RAG生态系统
RAG 的应用范围已经不再局限于问答系统,其影响力正在向更广泛的领域扩散。目前,包括推荐系统、信息提取和报告生成在内的多种任务已经开始受益于 RAG 技术的应用。
同时,RAG 技术栈也在迅速壮大。市场上不仅有像 Langchain 和 LlamaIndex 这样的知名工具,还涌现出许多更具针对性的 RAG 工具。这些工具有的为特定用例量身定制,满足更具体的场景需求;有的简化了使用流程,进一步降低了使用门槛;还有的在功能上进行了专业化设计,逐步适应生产环境的需求。
除了答案相关性和真实性外,RAG 系统的主要挑战是速度,特别是对于更灵活的基于 Agent 的方案,多关注小型化LLM
RAG for factuality
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html
Retrieval Augmentation Reduces Hallucination in Conversation
https://arxiv.org/abs/2104.07567
FacTool: Factuality Detection in Generative Al -- A Tool Augmented Framework forMulti-Task and Multi-Domain Scenarios
https://arxiv.org/abs/2307.13528
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
https://arxiv.org/abs/2310.11511
增强阶段
预训练
- 通过检索数万亿 Token (Token) 来改善语言模型 https://arxiv.org/abs/2112.04426
- 少样本学习借助检索增强型语言模型https://arxiv.org/pdf/2208.03299.pdf
- Toolformer: 语言模型自学使用工具https://arxiv.org/abs/2302.04761
- 一切只需复制https://openreview.net/pdf?id=CROlOA9Nd8C
- 结合检索增强的编解码器进行上下文学习https://arxiv.org/abs/2308.07922
- 我们是否应该通过检索来预训练自回归语言模型?https://arxiv.org/abs/2304.06762
- 展示-搜索-预测: 融合检索与语言模型,用于知识密集型自然语言处理https://arxiv.org/abs/2212.14024
微调
- 密集通道检索在开放域问答中的应用https://arxiv.org/abs/2004.04906
- UPRISE: 通用提示检索助力零样本评估提升https://arxiv.org/abs/2303.08518https://github.com/microsoft/LMOps
- 问答系统中从阅读器到检索器的知识转移https://arxiv.org/abs/2012.04584
- RA-DIT: 检索增强双指令微调https://arxiv.org/abs/2310.01352
- Self-RAG: 自我反思学习检索、生成及评价https://arxiv.org/abs/2310.11511
- 知识图谱增强的语言模型,用于生成知识驱动对话https://arxiv.org/abs/2305.18846
- 结构感知预训练语言模型,提高结构化数据的密集检索性https://aclanthology.org/2023.findings-acl.734.pdfhttps://github.com/OpenMatch/SANTA
- Replug: 检索增强的黑盒语言模型https://arxiv.org/pdf/2301.12652.pdf
- 适应性增强检索器,提升语言模型作为泛用插件的泛化能力https://arxiv.org/abs/2305.17331https://github.com/OpenMatch/Augmentation-Adapted-Retriever
推理
- 通过记忆实现泛化:最近邻居语言模型https://arxiv.org/abs/1911.00172
- 展示-搜索-预测: 融合检索与语言模型,用于知识密集型自然语言处理https://arxiv.org/abs/2212.14024https://github.com/stanfordnlp/dspy
- 关键词增强检索: 结合语音接口的信息检索新框架https://arxiv.org/abs/2310.04205
- 在多步骤问题解答中交错使用检索与链式思考推理https://arxiv.org/pdf/2212.10509.pdfhttps://github.com/stonybrooknlp/ircot
- 直接生成:大语言模型 (Large Language Model) 作为出色的上下文生成器https://arxiv.org/abs/2209.10063https://github.com/wyu97/GenRead
- 上下文中使用检索增强的语言模型https://arxiv.org/abs/2302.00083
增强来源
非结构化数据
- UPRISE: 通用提示检索助力零样本评估提升https://arxiv.org/abs/2303.08518https://github.com/microsoft/LMOps
- 从分类到生成:洞察跨语言检索增强互动式上下文学习 (ICL)https://arxiv.org/abs/2311.06595
- 简单复制即可https://openreview.net/pdf?id=CROlOA9Nd8C
结构化数据
- FABULA: 利用检索增强的叙事技术生成情报报告https://arxiv.org/abs/2310.13848
- 知识图谱辅助的语言模型:用于生成知识驱动的对话https://arxiv.org/abs/2305.18846
- KnowledGPT: 结合知识库的检索和存储访问来提升大语言模https://arxiv.org/abs/2308.11761
- Graph-ToolFormer: 利用 ChatGPT 增强提示来提升大语言模型的图形推理能力https://arxiv.org/abs/2304.11116
LLM 生成内容
- 自我提升:带有记忆功能的检索增强文本生成技术https://arxiv.org/abs/2305.02437
- 展示—搜索—预测:结合检索与语言模型技术,面向知识密集型自然语言处理任务https://arxiv.org/abs/2212.14024
- Recitation-augmented 语言模型https://arxiv.org/pdf/2210.01296.pdf
- 生成胜于检索:大语言模型作为强大的上下文生成器 https://arxiv.org/abs/2209.10063
- 自我知识引导的检索增强技术,用于提升大语言模型https://arxiv.org/abs/2310.05002
增强过程
一次性检索
- 面向知识密集型自然语言处理任务的检索增强生成方法https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html
- UPRISE: 通用提示式检索改善零样本评估技术https://arxiv.org/abs/2303.08518
- 带参数化知识引导的大语言模型增强技术https://arxiv.org/abs/2305.04757
- 学习为大语言模型检索上下文示例的方法https://arxiv.org/pdf/2307.07164.pdf
- 使用检索增强的少样本学习语言模型https://arxiv.org/pdf/2208.03299.pdf
- Replug: 检索增强的黑箱式语言模型https://arxiv.org/pdf/2301.12652.pdf
- 背诵增强式语言模型https://arxiv.org/pdf/2210.01296.pdf
迭代检索
- 展示—搜索—预测:结合检索与语言模型技术,面向知识密集型自然语言处理任务https://arxiv.org/abs/2212.14024 https://github.com/stanfordnlp/dspy
- 检索与抽样:结合混合检索增强技术进行文档级事件参数提取https://aclanthology.org/2023.acl-long.17/
- 通过迭代检索与生成的协同作用来增强大语言模型的检索能力https://arxiv.org/abs/2305.15294
- 检索-生成协同作用下的大语言模型增强方法https://arxiv.org/abs/2310.05149
递归式检索
- 结合思维链条推理与信息检索,解答知识密集型多步骤问题https://arxiv.org/abs/2212.10509 https://github.com/stonybrooknlp/ircot
- 采用检索增强型大语言模型 (LLM) 解开含糊问题的迷雾https://arxiv.org/abs/2310.14696
自适应检索
- 主动式检索增强生成技术https://arxiv.org/abs/2305.06983 https://github.com/jzbjyb/FLARE
- 自我RAG:自省中学习检索、生成及评判的艺术https://arxiv.org/abs/2310.11511
- 结合检索功能的编解码器语言模型上下文学习方法https://arxiv.org/abs/2308.07922