大模型应用：搞懂RAG，原理，流程，最佳实践

已于 2024-09-12 11:44:46 修改
阅读量889 收藏 21
点赞数 29
文章标签： 人工智能 agi ai RAG 大模型
于 2024-07-23 11:43:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56255097/article/details/140631660
版权

发展历史

image.png

原理&流程

RAG一句话说明白：通过检索外部数据，增强大模型的生成效果

顾名思义他的流程如下：

graph LR
P[数据处理] -.-> R[检索]
R --> A[利用]
A --> G[生成]
  • 数据预处理：是我们经常忽略的一步，一个好的效果必定依赖一个高准确的检索，而一个高准确的检索也同样依赖数据的处理。
  • 检索：根据query按照一定策略从茫茫多的数据中找到匹配的内容。
  • 利用 | 增强 ，生成 ：将检索到的数据利用起来，比如交给模型，扩充它的知识。

1. 数据的处理

目标是把数据变成特征

1.1 数据结构化

传统上，我们把数据分成三种：

  • 高度结构化的数据，比如markdown，html，一些json yaml文件
  • 半结构化的数据，比如word
  • 低结构化的数据，pdf，html

传统数据结构化的方法是将数据先处理成文本，再进一步提取特征。比如通过一下ocr识别这样的方法。

但是，时代变了，像gpt4 这种模型支持多模态，这给我们可操作的空间就很多了。

更多的时候，我们是将广义上的模态，转变为模型可接受的狭义上的多模态。

1.2 特征提取

如果你需要提特征，请直接使用大模型embedding，下面的内容仅做了解

embedding对内容进行特征提取通常也有三种方法：对称语义，非对称，混合

1.2.1 对称语义（Symmetric Semantics）

对称语义意味着两个向量之间的相似性度量是对称的，即如果向量A和向量B的相似性是某个值，那么向量B和向量A的相似性也是同样的值。在这种情况下，两个向量之间的关系是互相的，常见的应用包括：

词向量（Word Embeddings） ：例如，Word2Vec、GloVe等模型，这些模型生成的词向量可以用于计算词语之间的相似性，通常使用余弦相似度（cosine similarity）等对称度量方式。

文档相似度：在信息检索中，文档与文档之间的相似性计算也通常是对称的。

1.2.2 非对称语义（Asymmetric Semantics）

非对称语义意味着两个向量之间的相似性度量是非对称的，即向量A和向量B的相似性可能与向量B和向量A的相似性不同。在这种情况下，两个向量之间的关系具有方向性，常见的应用包括：

问答系统（QA Systems） ：在问答系统中，问题和答案之间的关系是非对称的。一个问题对应一个特定的答案，但反过来并不一定成立。

推荐系统：在推荐系统中，用户与物品之间的关系也通常是非对称的。用户可能对某个物品有兴趣，但物品并不会对用户有兴趣。

翻译模型：在翻译模型中，源语言和目标语言之间的关系也是非对称的。一个句子从源语言翻译到目标语言，但反向翻译不一定能得到原句。

1.2.3 混合

混合结合了前两者的优点，并且通常会有instruction tuning。能够让模型理解指令。

这类的通常有：m3e,bge,gte

1.2.4 范围

踩坑。有的时候，并不是把所有的内容参与特征化，效果会更好。尤其是在生成式场景里，尤为明显。

举个例子：oncall小助手场景下，我们过往的oncall记录通常作为一个数据集。这个数据集中参与特征化的部分应该只有问题+原因+结论，而不是所有通话内容全部参与特征化，效果会更好。

1.3 关于大文本问题

受限于文件内容，对于大文本分而治之是十分有必要的。

  • 比较常见的，有langchain中的CharacterTextSplitter和RecursiveCharacterTextSplitter，它们基于一定的规则，对文本进行分割，并且可以保留一定部分的重叠。
  • langchain还有固定结构的切割器，比如MarkdownTextSplitter，PythonCodeTextSplitter，HTMLHeaderTextSplitter等，用来切割固定结构的文本。
  • langchain中还提供了按token切割的方法SentenceTransformersTokenTextSplitter
  • 也可以基于一定算法的文件分割：比如基于bert的中文的分割模型nlp_bert_document-segmentation_chinese-base，或者将基于NLTK的NLTKTextSplitter，再或者基于 spaCy 库的SpacyTextSplitter。

当然，除了分割法还有总结法，就是将大文本中的关键内容提取出来，总结法也有很多，你直接大模型总结吧，我这里懒得写了。毕竟总结这个事可能是一个团队好几年的工作，一两句也说不清楚。

2. 检索 | 召回

当我们准备好数据后，就可以检索了

2.1 常见的检索方法

  • 向量检索：我们将提取到的特征放到向量数据库中，在发起query时，从数据库中召回我们需要的topn内容。

  • 关键字检索：我们不需要提特征，直接把文本放到ElasticSearch,OpenSearch这种数据库中，然后根据query的关键词进行检索，相似度可以用传统的算法计算，比如tfidf，或者knn，当然这些算法数据库本身就支持。

  • 图数据检索：将数据按照一定关系放入ne4j,nebula等图数据库中。然后查询使用。在 社交网络分析这类场景中很常用。

  • 关系数据库检索：比如电商推荐，智能客服，或者导购数字人这种场景，会从关系型数据中检索信息。

  • 搜索引擎：在开放域中，通常会先走搜索引擎进行信息填充。当然现在比计较流行后置的ReAct范式。

2.2 混合检索

还记得我们在传统推荐系统中，为了达到比较好的推荐效果，通常不会只用一种方法。

同样的，RAG我们也可以进行多路召回，将结果按照一定策略排序，以达到更好效果。

混合策略：略

2.3 query生成

还记得双塔模型吗，我们的query的特征生成通常需要一个复杂的机制来完成。而检索阶段通常发生在prompt拼装之前，prompt又是查询准确率的关键指标。而prompt是经常变的。这就使得传统召回的神经网络非常复杂。

我们必须简化一下这个操作。

最简单的情况：根据用户输入召回

我们直接把用户的输入作为query进行检索。通常在一些workflow的场景中非常实用。因为workflow通常处理一个固定的问题，它的输入也通常是明确的，所以直接作为query同样能够保证检索的准确率。

拼模板

我们将相关信息，比如用户画像，上下文，用户输入，prompt设定部分等，按照一定个模版格式，拼装在一起，然后特征化，再进行检索。

这种方式在虚拟社交中比较常见。

小模型生成法

拼模板有时候会带上太多不必要的信息，会加大模型幻觉。这时候我们可以用小模型进行总结，再进行检索。

那推而广之，可以用ReAct范式动态检索。不但节约了时间，还增加了准确率。

其他待补充。。。

3. 利用 | 增强 | 生成

当我们拿到检索结果后，就可以进行生成增强了。那具体怎么用那？

3.1 prompt/上下文拼接

最简单的方式，就是将检索结果直接拼接在prompt或者上线文中，直接给到大模型进行处理。

大多数的场景都可以这样处理，比如langchain的RAG链就是这种方式。

3.2 先拼接，再总结

为了减少input token的大小，可以先拼接，再总结，再发给大模型进行处理。

不过这种用法很少见，一般是把这个小模型直接做在模型层面，和大模型一起做成一个混合模型，并且会做大量的意图识别的训练。不理解为啥这样做，为了创收吗？

4. RAG场景

4.1 knowledge

RAG最常见的就是knowledge，也是我们通常理解上的RAG。

4.2 memory

memory理论上也是RAG，但是大家好像都有意将它们区分开。

4.3 意图识别

RAG在意图识别里非常非常好用。通常的做法是将检索结果作为few-shot辅助模型做cot。

4.4 ReAct

ReAct严格来说是CoT的一个优化范式，但是RAG也可以作为action用。

最后

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！

一、大模型全套的学习路线

L1级别：AI大模型时代的华丽登场
L2级别：AI大模型API应用开发工程
L3级别：大模型应用架构进阶实践
L4级别：大模型微调与私有化部署

在这里插入图片描述

达到L4级别也就意味着你具备了在大多数技术岗位上胜任的能力，想要达到顶尖水平，可能还需要更多的专业技能和实战经验。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

三、大模型经典PDF书籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

在这里插入图片描述

作为普通人在大模型时代，需要不断提升自己的技术和认知水平，同时还需要具备责任感和伦理意识，为人工智能的健康发展贡献力量。

有需要全套的AI大模型学习资源的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】


如有侵权，请联系删除。

AI女王
关注
【大模型应用开发 动手做AI Agent】从用户角度看RAG流程
AI天才研究院
07-25 808
【大模型应用开发 动手做AI Agent】从用户角度看RAG流程 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：RAG流程, 知识增强, 问答系统, 用户体验, 大模型应用
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
AI天才研究院
05-27 842
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
大模型RAG入门及实践
奇舞周刊
05-14 876
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
大模型的RAG(检索增强生成) ----大模型外挂
cumtchw
04-19 1887
检索增强生成（RAG）是一个概念，也可以称为一种范式，它旨在为大语言模型（Large Language Model，LLM）提供额外的、来自外部知识源的信息。
一文彻底搞懂大模型 - RAG（检索、增强、生成）
最新发布
程序员鑫港的博客
09-23 6700
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。一、检索增强生成（RAG）什么是RAG？RAG（Retrieval-Augment
阿里云PAI大模型RAG对话系统最佳实践
阿里云云栖号
03-14 1557
本文为大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型系列——解读RAG
我相信......
02-04 2489
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 2445
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
用通俗易懂的方式讲解：一文详解大模型 RAG 模块
2301_78285120的博客
02-02 8048
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
大模型技术知识点：RAG
h1453586413的博客
06-18 1761
RAG的核心思想是让语言模型在生成回答或文本时能够动态地从外部知识库中检索相关信息。这种方法能够提高模型生成内容的准确性、可靠性和透明度，同时减少“幻觉”（即模型生成看似合理但实际上错误的信息）。
RAG 提示词工程最佳实践
AI天才研究院
04-06 961
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 Zen 禅与计算机程序设计艺术 特别推出 RAG 任务下的提示词实践经验系列分享。RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级LLM应用方案。
RAG在金融风控领域的应用实践
AGI通用人工智能之禅
03-28 1057
金融风控是当今金融业中一项至关重要的工作。随着金融行业的不断发展和金融产品的日益复杂化,如何有效识别和管控风险已成为金融机构面临的重大挑战。传统的人工风控方式效率低下,难以应对海量的金融交易数据。而基于人工智能的金融风控方法,特别是近年来兴起的知识图谱技术,为解决这一问题带来了新的契机。本文将重点探讨如何利用知识图谱技术中的关系推理算法（RAG）在金融风控领域的应用实践。我们将从RAG的核心概念入手,深入剖析其在金融风控中的具体应用场景、算法原理和最佳实践,并展望未来的发展趋势。
一文读懂：大模型RAG（检索增强生成）
m0_59164304的博客
04-11 1万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
学习RAG知识
he1223991940的博客
08-12 1023
"RAG" 是 Retrieval-Augmented Generation 的缩写，这是一种结合检索和生成的技术，用于改进自然语言处理任务中的信息生成。RAG 模型通过首先从一个大型文档集合中检索相关信息，然后基于这些检索到的信息生成回答或文本。这种方法可以提高生成内容的准确性和相关性，特别是在需要特定知识或上下文的任务中。RAG使大型语言模型（LLMs）能够访问外部数据，并作为一种机制来减轻幻觉现象。
大模型RAG从入门到精通（非常详细）看这篇就够了，草履虫都能轻松看懂！！！
EnjoyEDU的博客
08-08 1265
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
RAG(检索增强生成) 的最佳实践
因为无知，所以奋斗！
09-12 726
RAG 的过程很复杂，包含许多组成部分。我们如何确定现有的 RAG 方法及其最佳组合，以确定最佳 RAG 实践？本文介绍了一项名为“Searching for Best Practices in Retrieval-Augmented Generation”的新研究。本研究旨在解决这个问题。文章分为四个部分：典型RAG工作流程介绍、每个RAG模块的最佳实践、全面评估和作者的思考与见解。
启程与远征Ⅰ--RAG 的最佳实践
RA AI衍生者训练营的博客
08-14 766
检索结果可能包含冗余或不必要的信息，这会妨碍 LLM 生成准确的响应。此外，较长的提示可能会减慢推理过程。因此，在 RAG 过程中，有效的方法来总结检索到的文档至关重要。提取式压缩器将文本分割成句子，并根据重要性对其进行评分和排序。生成式压缩器综合来自多个文档的信息以重新表述并生成连贯的摘要。这些任务可以是基于查询的，也可以是非基于查询的。Recomp：它具有提取和生成压缩器的功能。提取压缩器选择有用的句子，而生成压缩器则从多个文档中合成信息。
一文详谈RAG优化方案与实践
weixin_45583158的博客
06-19 782
导读RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GP...
AI大模型应用实践：RAG系统深度解析与应用
资源摘要信息:"《AI大模型应用》--一个适合学习、使用、自主扩展的RAG【检索增强生成】系统！.zip" 本文档包含了一个关于AI大模型应用的系统压缩包，该系统是一个检索增强生成（Retrieval-Augmented Generation，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值