小白学RAG：从零开始的RAG最佳实践

最新推荐文章于 2024-08-29 10:59:14 发布
最新推荐文章于 2024-08-29 10:59:14 发布
阅读量712 收藏 18
点赞数 15
文章标签： 学习 AIGC 人工智能 算法 设计模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiangxueerfei/article/details/141259608
版权

检索增强生成（Retrieval Augmented Generation，简称RAG）已成为一种流行的范式，它使大型语言模型（LLMs）能够访问外部数据，并作为一种机制来减轻幻觉现象。

实现RAG时，可能会面临有效集成检索模型、高效表示学习、数据多样性、计算效率优化、评估和文本生成质量等挑战。鉴于这些挑战，每天都会出现新的技术来改进RAG，使得为特定问题尝试所有组合变得不可行。

在这种情况下，本文提出了实现、优化和评估RAG的最佳实践，特别是针对巴西葡萄牙语，重点在于建立一个简单的推理和实验流程。

https://arxiv.org/pdf/2401.07883

步骤1：数据集准备

作者们选择了巴西葡萄牙语版本的《哈利·波特》第一本书作为数据集。选择这本书的原因是它广为人知，并且Gemini Pro和OpenAI模型都能够回答有关这本书的一般性问题。

  • 数据集大小：使用标准的ChatGPT分词器cl100k_base，作者们观察到整本书大约有140,000个token，这使得可以创建包含整本书内容的提示。

  • 数据集构建：基于上述数据集，作者们开发了一个包含问题和对应答案的数据集。问题和答案都是由gpt-4模型生成的，并且基于一个参考块（chunk）。

数据准备过程：如图1所示，数据准备过程包括以下步骤：

  • 首先，将数据集分割成每个包含1000个token的块，没有重叠，总共得到140个块。

  • 然后，使用附录A中描述的提示，为每个块创建了一个问题和答案对，风格类似于SQuAD数据集，这意味着问题的答案存在于参考文本（块）中。

步骤2：定义评价指标

传统评估指标如BLEU和ROUGE可能无法准确捕捉句子之间的相似性。例如，尽管两个句子在翻译成英文后表达相同的意思，但它们的BLEU和ROUGE得分可能很低。

为了解决这个问题，作者们采用了一种在文献中广泛使用的方法，即利用gpt-4根据给定的提示为文本提供评分。作者们设计了一个分为5个类别的评分系统，用于比较两段文本，每个类别都有相应的分数定义。

评分类别：

  • 分数1：答案与参考无关。

  • 分数3：答案有很少的相关性，但与参考不一致。

  • 分数5：答案有中等相关性，但包含不准确之处。

  • 分数7：答案与参考一致，但有小遗漏。

  • 分数10：答案完全准确，与参考完全一致。

步骤3：初步实验（无背景信息）

作者们首先定义了一个基线，即在没有任何上下文的情况下，使用大型语言模型（LLMs）回答关于《哈利·波特》的问题。由于LLMs训练于包含几乎整个网络内容的大型数据集上，加之《哈利·波特》宇宙的普及，这为在OpenAI模型上测试独立问题提供了一个强有力的假设。

作者们观察到，对于基本问题，如“哈利·波特是谁？”、“谁杀了邓布利多？”以及“哈利·波特的主要朋友是谁？”，ChatGPT能够准确回答。然而，对于更详细的问题，性能仅是合理的。文中提供了两个详细问题的例子及其答案。

表2显示了不同模型的平均得分和与相对最大得分相比的退化百分比。所有模型的得分都低于相对最大得分，表明在没有检索到的上下文的情况下，模型的性能有所下降。

步骤4：长文本问答实验

与GPT 1和2模型相比，gpt-4-1106-preview模型能够处理高达128k的输入token，这在模型发展的四年内代表了大约128倍的输入容量增加。

作者们进行了类似于"Lost in The Middle"的分析，探索了在提示中改变答案位置时模型的输出。实验通过改变包含问题答案的块的深度（以上下文提示中token总数的百分比增量）来进行。

步骤5：朴素RAG

朴素的RAG方法使用llama-index，采用所有默认的超参数，并使用ADA-002嵌入通过余弦相似度进行块检索。图4展示了问题处理的基本流程：

  • 步骤1：将查询传递给嵌入模型，将其语义表示为嵌入查询向量。

  • 步骤2：将嵌入的查询向量传输到向量数据库或稀疏索引（BM25）。

  • 步骤3：根据检索器算法获取前k个相关块。

  • 步骤4：将查询文本和检索到的块转发到大型语言模型（LLM）。

  • 步骤5：使用LLM根据检索内容填充的提示生成响应。

性能比较：

  • gpt-4模型的平均得分为6.04，与相对最大得分相比退化了20%。

  • gpt-4-1106-preview模型的平均得分为5.74，退化了21.6%。

  • gpt-3.5-turbo-1106模型的平均得分为5.80，退化了21.0%。

从表3可以看出，尽管朴素的RAG方法在没有检索上下文的情况下相比基线有所提高，但与相对最大得分相比仍有性能退化。这表明还有改进空间，尤其是在检索策略和模型集成方面。

实验中，答案深度的变化以10%的增量表示，从0%到100%，共11个变化。输入上下文的token数量在x轴上以每1,000个token为间隔变化，如图2所示。

从图2可以看出，随着输入长度的增加，得分显著下降。此外，图3显示，位于(40%, 80%)区间内的答案表现最差，这与"Lost In The Middle"文章中的记录一致。

步骤6：对比检索器

本节探索了RAG的多种检索方法，认识到检索器的质量是提高这类问题性能的关键因素。

在部署检索系统时，需要在“有效性”（返回的结果有多好？）和“效率”（返回结果需要多长时间？或在磁盘/RAM/GPU方面使用了多少资源？）之间取得平衡。

评估指标：召回率和倒数排名在特定截止点进行评估，表示为R@k和MRR@k。

检索器类别：

  • 稀疏检索器：强调BM25，这是一种基于统计权重评估搜索词和文档之间相关性的技术。

  • 密集检索器：通常基于双编码器（bi-encoder）设计，独立编码查询和文档，然后计算相似度。

  • 混合搜索技术：利用稀疏和密集搜索方法的优势，生成两个候选文档列表，然后以最佳方式组合这两个结果。

  • 多阶段搜索架构：基于检索和重排管道，第一阶段使用具有良好召回率的检索器进行初步筛选，然后在第二阶段使用更高计算复杂度的方法重新排序这些候选文档。

  • 稀疏检索方法

表4展示了使用不同BM25包的比较，包括使用Pyserini和rank-bm25的结果，以及使用这些实现的增益百分比。这表明Pyserini的实现在召回率方面优于rank-bm25，尤其是在较低的召回率k值下。

  • 定义化嵌入模型

嵌入定制对于提高表示的整体性能至关重要，且不仅适用于OpenAI的嵌入，也适用于其他同类嵌入。通过自定义ADA-002方法，作者们展示了如何通过微调过程来改善检索器的性能，特别是在准确性和表示质量方面。

  • 多路召回

RRF是一个广泛使用的算法，用于解决结合不同方法搜索结果的问题。对于文档集D和来自不同方法r的搜索结果R，对于D中的每个文档d，可以按照公式(2)计算RRF得分。从表5可以看出，混合使用BM25和自定义ADA-002的组合在所有召回率指标上都优于单独使用BM25或ADA-002的组合。

  • 重排序

多阶段排名将文档排名分为多个阶段。初始检索通常涉及稀疏检索器或密集检索器，每个后续阶段重新评估并重新排列从前一阶段转发的候选集。

  • 检索结果

表6展示了不同检索器的性能比较，包括ADA-002、自定义ADA-002、混合BM25-ADA-002、混合BM25-自定义ADA-002、BM25以及BM25加重排器。

步骤7：输入大小与性能

尽管在表6中对9个块实现了完美的召回率，并且使用了9000个token的输入，比最佳情况（3个块）多6000个token，但并未达到最佳性能。这与第4.2节中讨论的RAG质量直接与输入大小和答案所在位置有关的观点一致。


读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

程序员二飞
关注
基于Python的大模型RAG检索增强生成技术最佳实践设计源码
10-02
该项目为基于Python实现的大模型检索增强生成技术最佳实践设计源码，包含23个文件，涵盖7个XML配置文件、5个Python源代码文件、3个Markdown文档、2个Git忽略文件、2个文本文件、2个图片文件、1个IntelliJ IDEA项目...
大模型RAG优化方案与实践（非常详细）从入门到精通，看这一篇就够了
玩赚AI大模型的博客
07-17 2911
RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GPT系列、LLama系列等模型，在语言交互场景下表现十分抢眼。
学习RAG知识
he1223991940的博客
08-12 994
"RAG" 是 Retrieval-Augmented Generation 的缩写，这是一种结合检索和生成的技术，用于改进自然语言处理任务中的信息生成。RAG 模型通过首先从一个大型文档集合中检索相关信息，然后基于这些检索到的信息生成回答或文本。这种方法可以提高生成内容的准确性和相关性，特别是在需要特定知识或上下文的任务中。RAG使大型语言模型（LLMs）能够访问外部数据，并作为一种机制来减轻幻觉现象。
RAG学习（一）
weixin_52870407的博客
01-19 196
本文主要在基础RAG方案之上，从宏观层面梳理RAG的优化策略和方案。作者主要通过两个方面进行论述，即RAG优化核心策略和RAG优化方案。本文未涵盖Prompt Engineering和比较复杂的多模态RAG内容。0、什么是RAG检索增强生成（Retrieval Augmented Generation，简称 RAG）为大语言模型 (LLMs) 提供了从数据源检索的信息，以此为基础生成回答。
rag笔记（一）：技术介绍与实践
submarineas的博客
03-19 1420
检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。
RAG原理及本地化实践
stingfire的博客
04-26 1407
参考资料1中，Patrick Lewis等人提出了一个基于LLM的新架构，并命名为RAG。RAG不是一种新的深度学习网络模型，我更倾向于将它理解为一种基于LLM模型，并组合了其他技术的一种新型框架。RAG是Retrieval-AugmentedGeneration的首字母缩写，同时这三个单词也分别表示了这个技术处理的三个步骤，分别的意思是：Retrieval：数据的获取部分。根据用户输入的query数据，再从用户提供的资料中查找出跟query相关的内容。Augmented：数据增强部分。
LLM之RAG实战（四）：Self-RAG如何革命工业LLM
wshzd的博客
12-14 1167
self-RAG会训练一个任意的LM（比如Llama2–7B和13B），使其能够反思自己的生成过程，并生成任务输出和中间的特殊tokens（reflection tokens）（比如[Retrieval], [No Retrieval], [Relevant], [Irrelevant], [No support / Contradictory], [Partially supported], [Utility]等）。例如，一份包含X公司过去15年的年收入的文件，但分为不同的部分。然而，这可能有几个问题。
基于rag的知识库问答系统
07-25
基于rag的知识库问答系统
Task 3：源大模型RAG实战-注释版.rar
08-19
【Datawhale AI夏令营第四期】 浪潮源大模型应用开发方向笔记 RAG实战教程代码注释版 在通义千问的帮助下详细解读的教程代码。
【4月组队学习-llm-universe笔记】 0基础小白 RAG应用开发实践笔记
05-22
附LangChain自定义Embedding封装讲解
大模型RAG入门及实践
奇舞周刊
05-14 840
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
RAG学习
m0_56392638的博客
02-23 919
TF 和 IDF 一个关注词在当前出现频率，一个关注词出在当前文档的独特性（出现在了多少个文档），两者相乘就能得到这个词对该文档的独一无二性。BM25Okapi 是一种变体（改的简单了一点，感觉是省略掉了询问和文档之间的词频差异）下面 avgdl 代表文档平均长度，qfreq 代表询问中的词频，k1 和 b 都是可调超参，分别控制词频和文档长度影响。function call 指的是自己用语言描述一个函数，当模型接受到问题后，会分析是否要调用这个函数，若调用则从用户提供的文本中提取函数需要的函数值。
大模型学习路线（3）——知识检索增强（RAG）
qq_51175703的博客
03-19 2434
上图为LLM+RAG运行的整体流程。如果想对RAG有系统化的理论认知，基本看如下三篇技术概览足矣，其它不再多做赘述了，毕竟没必要重复造轮子(bushi。章节一的三篇技术概览了RAG理论部分，从RAG整体流程介绍，到RAG流程涉及每一步骤的细节详解、常用技术，再到总结、当下发展、未来展望。章节二为进阶部分，介绍了RAG的关键技术。章节三介绍了RAG的实践，RAG之前跑的demo忘保存了，找时间补回来，留个坑位先......（饼先搁这画上了）。RAG内容为LLM岗重点考察内容，涉及知识点多的嘞！！！
RAG 基本流程及处理技巧 with LangChain
Y525698136的博客
06-26 742
LLM 主要存在两个问题：幻想和缺乏领域知识。领域知识缺乏的原因是因为训练 LLM 本身的知识更新慢，对特定领域的知识也没有太细致的输入。
RAG检索增强技术在知识库智能检索场景下的应用实践
FrenzyTechAI的博客
12-18 6751
本文我们主要探讨了知识检索增强（Retrieval-Augmented Generation, RAG）技术的关键评估方法和行业应用，以及几种现有的技术栈选择及其优缺点。首先，关于RAG的效果评估，我们提到了两种主要的评估方式：独立评估和端到端评估。独立评估包括检索评估和生成评估，重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标，以及人工或GPT模型的评估方法，以获得更全面的效果评价。
RAG Fusion简明教程
新缸中之脑
02-01 1551
RAG Fusion (Raudaschl, 2023) 提供了解决 RAG 模型局限性的最佳解决方案。不同的限制，例如人工搜索效率低下和搜索过于简单化，会导致相关性较低的结果；然而，借助 RAG Fusion，人们可以轻松克服这些限制。它通过生成多个用户查询并使用倒数排名融合等策略对结果进行排名来克服挑战。这种临时技术弥合了用户查询与其预期含义之间的差距。RAG Fusion 技术使用编程语言、向量搜索数据库、具有查询生成功能的LLM以及结果重新排名步骤。
RAG 入门指南：从零开始构建一个 RAG 系统
mama19971023的博客
08-05 1314
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
大模型RAG从入门到精通（非常详细）看这篇就够了，草履虫都能轻松看懂！！！
最新发布
2401_84206094的博客
08-29 1068
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员二飞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值