RAG介绍

最新推荐文章于 2025-04-13 22:21:32 发布
最新推荐文章于 2025-04-13 22:21:32 发布
阅读量1.3k 收藏 15
点赞数 13
分类专栏： AI技术 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64531791/article/details/142468442
版权

这里写目录标题

1.模型幻觉理解

模型幻觉是指，我们询问一个模型不知道的问题，模型会顺着我们说的话胡编乱造；其实这种现象恰恰说明，模型已经学习到了相关的知识，人类幼仔对其他人的问话，也存在幻觉问题，甚至更加严重，那这是否说明人工智能模型已经具备了一定的智能。

2.RAG

释义： RAG又叫Retrieval Augmented Generation，它的示例有很多，在网上找了一个图：
在这里插入图片描述
逻辑步骤：

  1. 首先将知识进行处理，常见的方式是通过embedding转化为向量目的是后续进行检索，也就是说，后续采用的检索方案不一样，这里知识的处理也不一样，不一定要向量化或者用向量库检索。
  2. 将用户的问题到知识中去检索，即将问题embedding向量化后，检索出相关的知识。
  3. 将检索的知识和用户问题，结合提示词模板，交由大模型进行组织或者筛选处理。
  4. 注意：在这个过程中，检索可以用向量、也可以使用传统的编辑距离、BM25、ES等方法。

2.1RAG优势

  1. 可扩展性：减少模型大小和训练成本，并能够快速扩展知识。
  2. 准确性：模型基于事实进行回答，减少幻觉的发生。
  3. 可控性：允许更新和定制知识。
  4. 可解释性：检索到的相关信息作为模型预测中来源的参考。
  5. 多功能性：RAG能够针对多种任务进行微调和定制，如QA、Summary、Dialogue等。

2.2RAG难点

在这里插入图片描述

  1. Missing Content 没有问题相关的知识或者材料。
  2. Missed Top Ranked 与问题最相关的材料，没有被召回排到第一。有一些排序的模型，即增强。
  3. Not in Content 是指召回中，没有完整包含问题所需要的内容。
  4. Wrong Format 输出的数据格式不对。
  5. Incomplete 模型回答的内容不完整。
  6. Not Extracted 没有对知识进行抽取和整理，回答中包含原文的完整片段。
  7. Incorrect Specificity 输出存在不正确的情况，即和想要的答案不一致。

2.3RAG难点解决方案

2.3.1超长文本-MemWalker

在这里插入图片描述
处理思路：

  1. 即首先将文本按照章节，或者段落，即一个最小的材料单元，进行总结
  2. 在最小单元中，按照一定的数量，比如前3章、前4章做总结得到第二层的总结
  3. 在第二层的基础上做更上层的总结，最后得到一个总结的的树，树的最小枝丫就是文章本身的片段。
  4. 在搜索时，即从上往下，循环检索，判断最相关的总结，一直到枝丫，最后召回比较相近的文章片段本身。

2.3.2超长文本-Read-Agent

在这里插入图片描述
材料处理与检索思路：

  1. 将一个超长文本，按照一大段，一大段的交由大模型，去判断从哪里分段比较好，并且阐明原因，如果模型能力强，可以直接使用，如果要求较高，可以手动检测一次。
  2. 将已经标注分段的文章，进行拆分成对应段落。
  3. 将拆分的段落，循环交由大模型去进行内容总结。
  4. 将总结的内容，和用户的问题交由大模型，判断，需要重新读原文的那些章节，回答问题。
  5. 根据总结的序号，去找到对应的原文，结合问题和提示词，交由大模型进行问题回答。

2.3.3Corrective RAG

在这里插入图片描述
corrective rag是为了解决知识库回答的质量是否好，通过在线搜索来增强回答的结果。

  1. 首先根据问题到已有的知识库中召回相关内容。
  2. 根据召回的内容和客户问题，交由模型（Retrieval Evaluator）去判断问题和召回内容的相关性。
  3. 判断结果为Correct时，则表示，召回结果可以回答问题，则将其交由大模型处理。
  4. 判断结果为Ambiguous时，则表示，不太确定，这个时候，则将问题再放到在线检索，得到检索的结果、和知识库召回结构、结合问题一起交由通用大模型。
  5. 判断结果为Incorrect时，则表示召回结果和问题无关，则将问题进行在线检索，将检索结果和问题交由通用大模型回答。

2.3.4self RAG

在这里插入图片描述
特殊的地方：

  1. 是否进行知识库内容召回是根据模型的回答情况而定的。
  2. 模型重度参与到RAG的数据处理、召回效果判断、结果输出这些重要环节。

释义：

  1. 将问题输入到模型中，让模型自己去判断需不需要到知识库召回内容，模型在输出答案时，如果输出了Retrieve，则表示需要召回，没有则继续输出，直到结束。
  2. 如果有Retrieve需要召回，则将已经输出的内容和问题一起交由召回模型进行知识召回。
  3. 将召回的内容，问题交由大模型判断IsREL相关性；
  4. 将召回内容、生成内容、问题交由大模型判断IsSup，对问题的回答支持程度；
  5. 将召回内容和最后的输出内容，交由大模型判断IsUSE，判断可用性。

2.3.4Power of Noise

在这里插入图片描述
简介： 文章有提出一个特别反直觉的结论，即召回的信息中，如果包含几翩与当前问题无关的内容，则大模型的回答会更好一些。

  1. 将召回的内容分为四个级别：Gold Document 即包含问题的清晰准确答案的材料。Relevant Documents 即包含答案且但是答案并不是直接给出，比较隐晦，需要一定推理的材料。Related Document 不包含答案，但与问题相关的材料，比如背景等。Irrelevant Document 与答案和问题完全无关的内容。

3. RAG优化技巧

3.1召回源

1.多路召回： 稀疏召回、语义召回、字面召回
问题： 多路召回有截断和召回分数的对齐问题。
解决：在召回后，进行一个重排序，精简召回数，提示召回质量。
2. embedding模型、重排序模型、生成模型对系统回答的指标情况做进行微调。

3.2 效果评估

RAG效果评估主要是针对：检索和生成两个环节

3.2.1 检索

  1. MRR，平均倒排率
  2. 前K项的Hits Rate命中率
  3. NDCG排序指标

3.2.2 生成

  1. 量化指标： Rouge-L；文本相似度、关键词重合度
  2. 多样性：能否生成多种合理正确的答案
  3. 人类评估：对模型的回答做质量、准确性、连贯性的评分。

3.3 RAG幻觉

有两类幻觉：

1.生成结果和数据源不一致
2.问题超出大模型的认知

原因1：训练数据和源数据不一致、数据没有对齐、编码器理解能力的缺陷、解码器策略错误的原因
原因2：用户的问题不在语言模型的认知范围内

解决思路：

  1. 引入更精准的知识库、消除虚假数据源、减少数据偏差
  2. 纠偏规则，比如ReAct思想，让大模型对输出结果反思
  3. 集成知识图谱，做召回不仅做向量匹配，还要考虑图谱三元组，通过知识图谱的结构化来增强模型的推理能力

边界case：

  1. 知识库没有的问题，做准入判别，判断是否需要回答（大模型+prompt/二分类模型）；让模型在这个情况下输出一个兜底话术。
  2. 减少幻觉，对于会随着时间变化问题，让模型给定一个固定的回答，或者不回答。
  3. 格式不正确：即模型输出的内容，没有办法正确的解析，设置代理大模型，在解析内容失败时，让代理大模型直接生成输出内容的总结。
召回层主流策略 (多路召回、Embedding召回)
weixin_43646592的博客
02-08 2113
搜广推 召回层主流策略 (多路召回、Embedding召回)
（17-1）检索增强生成（RAG）：RAG介绍
码农三叔
04-25 529
RAG技术用于处理和整合那些不在模型训练集内的特定用户数据，在这个过程中，首先从外部数据源检索数据，然后将这些数据在生成步骤中传递给LLM。LangChain为RAG应用提供了从简单到复杂的所有构建模块，其中关键模块如下所示。1. 文档加载器用于从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，并与其他主要提供商（如AirByte和Unstructured）集成，能够加载各种类型的文档（如HTML、PDF、代码）和从各种位置（如私有S3存储桶、公共网站）获取文档。2. 文本分割。
RAG多路召回
pumpkin84514的博客
01-15 2813
是指在信息检索系统中，为了提升检索的全面性和准确性，通过多条不同的检索路径或不同的检索策略来获取信息的技术。多路召回的核心思想是，单一的检索路径可能会遗漏一些重要的信息或没有覆盖所有可能相关的内容，因此需要并行或串行地采用多种检索方法来提高最终的召回率和准确性。多路召回通过多个检索策略和模型的并行运行，能够提升信息检索的多样性和精准度。模型中，多路召回通常用于增强检索阶段的多样性和精准度。通过结合不同的召回策略，系统能够在多个来源或角度中获取信息，从而改善生成模型的输入质量和最终生成的答案。
20250414| AI：RAG多路召回和融合重排序技术
最新发布
LeonNo11的博客
04-13 1176
RAG（Retrieval-Augmented Generation）是一种结合检索和生成的框架，广泛用于问答、对话和知识密集型任务。检索阶段：根据用户查询，从知识库（如文档集合、数据库）召回相关信息。生成阶段：将召回的信息与查询一起输入生成模型（如LLM），生成最终答案。多路召回和融合重排序主要发生在检索阶段，决定了召回文档的质量和相关性。下面详细讲解这两部分，并融入解释学习的思路。
langchain中的召回增强生成（RAG）一览
2301_81940605的博客
06-24 1624
RAG是一种通过额外的、通常是私有或实时的数据来增强LLM知识的技术。LLM能够推理各种广泛的主题，但它们的知识仅限于它们训练时的公共数据，到达其特定时间节点为止。如果你想构建可以推理私人数据或在模型截止日期之后引入的数据的人工智能应用程序，你需要用特定信息增强模型的知识。将适当的信息带入并插入到模型提示中的过程被称为“检索增强生成”（RAG）。
大模型学习路线（3）——知识检索增强（RAG）
qq_51175703的博客
03-19 3644
上图为LLM+RAG运行的整体流程。如果想对RAG有系统化的理论认知，基本看如下三篇技术概览足矣，其它不再多做赘述了，毕竟没必要重复造轮子(bushi。章节一的三篇技术概览了RAG理论部分，从RAG整体流程介绍，到RAG流程涉及每一步骤的细节详解、常用技术，再到总结、当下发展、未来展望。章节二为进阶部分，介绍了RAG的关键技术。章节三介绍了RAG的实践，RAG之前跑的demo忘保存了，找时间补回来，留个坑位先......（饼先搁这画上了）。RAG内容为LLM岗重点考察内容，涉及知识点多的嘞！！！
RAG(检索增强生成)系统实践与调优
zhishi0000的博客
12-11 1168
检索增强生成（Retrieval Augmented Generation, RAG）是一种结合信息检索和生成式人工智能的技术，它通过从外部数据源中检索相关信息，来辅助大语言模型（Large Language Model, LLM）生成更为准确、上下文相关的答案。具体来说，RAG 的工作流程包括两个关键步骤：首先，系统会根据用户的查询从预先构建的数据源中检索相关的文档或片段；然后，将这些检索到的内容作为上下文信息，和用户的问题一起输入到大语言模型中，以生成更丰富、更具参考价值的回答。
推荐系统-多路召回
lz你ps的博客
11-30 1229
目录1. 含义2. 定义多路召回字典3. 召回效果评估函数4. 计算相似性矩阵5. 召回 1. 含义 指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用。 示意图： 2. 定义多路召回字典 # 定义一个多路召回的字典，将各路召回的结果都保存在这个字典当中 user_multi_recall_dict = {'itemcf_sim_itemcf_recall': {}, 'embedding_sim_ite
重磅推荐-2024最新大模型RAG（检索增强生成）最佳实践PPT合集（38份）.zip
12-09
精心整理，2024最新大模型RAG（检索增强生成）最佳实践PPT合集，共38份。 大模型×领域RAG：打造高效、智能化的用户服务体验 基于codeLLM和RAG技术的探索 GPT社区探索GraphRAG未来架构 RAG2.0：记忆驱动的下一代...
（13-1）RAG基础知识介绍：RAG模型概述
码农三叔
02-03 3903
RAG（Retrieval-Augmented Generation）是一种自然语言处理模型架构，旨在结合检索和生成两个关键的NLP（Natural Language Processing）任务。RAG模型可以应用于诸如问答系统、文本摘要、对话系统等多个领域。在本章的内容中，将详细讲解RAG的基础知识，介绍RAG技术的原理和架构知识，为读者步入后面知识的学习打下基础。
（13-5）RAG基础知识介绍：RAG融合、编码器、 LLM 微调和RAG评估
码农三叔
02-04 2033
这种双编码器的技术调整了LLM和检索器，通过调整查询、上下文和答案的三元组，达到更好的性能。更先进的方法不仅考虑了命中率，还包括了一些常见的搜索引擎评估指标，如平均倒数排名（Mean Reciprocal Rank），以及生成答案的质量指标，如真实性和相关性，这在OpenAI的实用指南中得到详细展示。RAG系统的性能评估工作是确保其有效运作的关键，在当前市面中，各种主流框架都提供了多个独立的指标，用于综合评估系统的不同方面，这些指标包括总体答案相关性、答案基础性、忠实度以及检索到的上下文相关性。
从0到精通，读懂这一篇就够了，RAG：检索增强的前世今生
人工智能讲师分享前沿技术
09-26 1124
Moritz Wallawitsch，RemNote（一款利用人类记忆曲线等神经科学规律帮助学生学习知识的app）联创（General Catalyst支持），ZFellow（创业辅导），Prod.so（面向哈佛、MIT等名校学生的创业孵化器）合伙人，Emergent Ventures风投基金合伙人。
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
热门推荐
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
AI大模型中的「召回」功能：技术原理与应用场景解析
JakeMa1024的博客
04-02 2022
召回（Recall）是推荐系统或信息检索中的关键步骤，其核心目标是从海量数据（如商品、内容、用户行为等）中快速筛选出与用户需求或兴趣最相关的候选项。在推荐系统的典型架构中，召回通常作为第一阶段，生成一个初步的候选集合，后续的排序模型（Ranking）则进一步优化和排序这些候选项。AI大模型的召回功能通过整合知识图谱、深度学习和实时意图分析，显著提升了推荐系统的精准度与用户体验。无论是电商、广告还是系统级应用，召回技术都在推动个性化服务向更智能、更高效的方向发展。
RAG与知识库搭建，手把手教你构建RAG系统
qkh1234567的博客
11-13 4164
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
百川智能RAG方案总结：搜索出生的百川智能大模型RAG爬坑之路
zenRRan的博客
01-05 1639
来自：NLP PaperWeekly今天对百川的RAG方法进行解读，百川智能具有深厚的搜索背景，来看看他们是怎么爬RAG的坑的吧～总的来说，百川通过长上下文模型(192k)+搜索增强结合的方法来解决知识更新，降低模型幻觉的问题，使得其在5000万tokens的数据集中取得95%的精度。其主要在以下几个方面做优化：1) Query拓展：这是我自己取的名字，可能不太准确，其主要参考Meta的CoVe[...
一文读懂RAG
wangziling123456的博客
04-26 3552
在 RAG 系统中，我们通常需要进一步处理检索到的内容。另一个优势是将信息检索过程转化为LLM可以理解的指令，从而提高知识检索的准确性，并使LLM能够生成上下文连贯的响应，从而提高RAG系统的整体效率。[88] 较大的块可以捕获更多的上下文信息，但也会产生更多的噪声，需要更长的处理时间和更高的成本。例如，对于某些特定类型的查询，可以选择特化的检索模块，或者针对特定的生成任务，选择一个适合该场景的生成器。粗粒度检索单元提供更相关的信息，但也可能包含冗余的内容，这可能会分散下游任务中检索器和语言模型的注意力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值