一文彻底搞懂掌握，高级RAG检索策略之句子窗口检索，高级RAG检索策略之自动合并检索，高级RAG检索策略之递归检索，使用Trulens评估RAG应用，LlamaIndex与RAG评估工具（附代码）

最新推荐文章于 2024-10-04 22:36:54 发布
最新推荐文章于 2024-10-04 22:36:54 发布
阅读量260 收藏
点赞数 7
分类专栏： 机器人智慧之心 文章标签： 人工智能 机器学习 gpt chatgpt RAG 检索 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014374009/article/details/138586217
版权
本文详细介绍了RAG（检索增强生成）模型在人工智能中的应用场景，如SEO、问答系统和机器翻译等，并阐述了在大型语言模型LLaMA中的作用，包括增强信息检索和提高文本生成质量。高级RAG检索策略包括句子窗口检索和自动合并检索，分别解释了两种策略的工作原理和在实际项目中的应用。此外，文章提到了Trulens、Ragas和DeepEval等RAG评估工具，对比了它们的评估指标和适用性，帮助开发者选择合适的工具进行模型优化。
摘要由CSDN通过智能技术生成

一文彻底搞懂掌握，高级RAG检索策略之句子窗口检索，高级RAG检索策略之自动合并检索，高级RAG检索策略之递归检索，使用Trulens评估RAG应用，LlamaIndex与RAG评估工具（附代码）。

文章非常长，可以按照章节进行查看。

在这里插入图片描述

RAG，即Retrieval-Augmented Generation，是一种结合了检索（Retrieval）和生成（Generation）的深度学习模型架构。RAG模型通过检索大量的文档数据，并将相关信息融入到生成模型中，从而提高生成文本的质量和相关性。以下是RAG模型的应用场景和在大型语言模型LLaMA中的作用的详细介绍：

RAG模型的应用场景：

  1. 搜索引擎优化（SEO）：
    RAG模型可以用于生成针对特定关键词优化的内容，通过检索相关信息并生成高质量的SEO文章。

  2. 问答系统：
    在问答系统中，RAG可以快速检索大量数据，找到

了解本专栏 订阅专栏 解锁全文 超级会员免费看
代码讲故事
关注
专栏目录
订阅专栏
高级RAG(八): 自动合并检索(Auto-merging Retrieval)
weixin_42608414的博客
01-19 2859
关于自动合并检索评估的方法总结和补充说明： 使用不同的文档层次结构参数进行迭代（级别数、子级数）和不同的块大小 使用 RAG三元组评估应用程序版本 跟踪实验以选择最佳的文档分割的层次结构参数 找到关于最适合某些文档类型的超参数(文档层次结构参数)的直觉 自动合并检索是对句子-窗口检索的补充
RAG中的3个高级检索技巧
deephub
01-20 5218
我们介绍的这些检索技术有助于提高文档的相关性。但是这方面的研究还正在进行，还有很多其他方法例如,利用真实反馈数据对嵌入模型进行微调；直接微调LLM以使其检索能力最大化(RA-DIT)；探索更复杂的嵌入适配器使用深度神经网络而不是矩阵；深度和智能分块技术作者：Ahmed Besbes。
技术动态 | 基于GraphRAG的SEO智能助手实战案例 - 解锁大模型和知识图谱结合的力量...
开放知识图谱
07-17 134
转载公众号 |知识图谱科技摘要Unlocking The Power Of LLM And Knowledge Graph (An Introduction)，by Sylvain Peyronnet，CEO atBabbar / yourtextguru本文介绍了如何利用LLM和知识图谱的强大功能制作AI助手，并详细解释了RAG和GraphRAG的应用。通过整合外部API，构建了名为Vic...
大模型高级 RAG 检索策略：自动合并检索
2201_75499313的博客
05-30 1126
自动合并检索主要是将文档按照块大小拆分成不同层级的节点，这些节点包括父节点和子节点，然后在检索过程中找到相似度高的叶子节点，如果一个父节点中有多个子节点被检索到，那么这个父节点就会被自动合并，最终将父节点的所有文档都作为上下文发送给 LLM（大语言模型），下面是自动合并检索的示意图：自动合并检索是 LlamaIndex 中的一种高级检索功能，主要有文档拆分和文档合并两个过程，下面我们将通过代码来讲解其中的原理。
LLM之RAG实战（二十二）| LlamaIndex高级检索（一）构建完整基本RAG框架（包括RAG评估）
wshzd的博客
02-05 2444
解决这一问题的一种方法是让较小的块与父块（本例中为原始的100字块）相关，这样LLM将有更多的上下文来作为答案的基础，而不是试图生成自己的幻觉信息。换言之，10个单词的每个较小组块将与100个单词的较大组块相关，并且当给定的较小组块（10个单词组块）被识别为与回答用户问题相关时，父组块（100个单词组组块）将被检索并被发送到LLM。在传统的RAG应用程序中，我们使用相同的数据块来执行搜索检索，并将相同的块传递给LLM，以使用它来合成或生成答案。可以注意到的一件事是，文档在一个块中，让我们将其拆分为多个块。
AGI｜基于LangChain实现的三种高级RAG检索方法
在数字化道路无限探索
05-07 1274
自动合并检索方法，实现方法源自Llamaindex所封装的自动合并检索，但RAG全流程需要制定一套准确的规范，因此在用户文档完成读取和切片工作后，所得到的Langchain格式的Document对象需转化为Llamaindex定义的Document对象，便可通过Llamaindex的自定义算法自动划分整个切片列表的子节点和父节点，最后鉴于规范再重新转化为Langchain格式的Document对象，并将父节点信息、深度信息等封装进每个节点。由此可见，多路召回检索在数据源广而杂的情况下，富有更好的效果。
用通俗易懂的方式讲解：大模型高级 RAG 检索策略之递归检索
2301_78285120的博客
04-14 1817
递归检索相较于普通 RAG 检索，可以解决后者因文档切片过大而导致检索信息不准确的问题，下面是递归检索的流程图：递归检索在原始文档节点基础上，扩展了更多粒度更小的文档节点检索文档时如果检索到扩展节点，会递归检索到其原始节点，然后再将原始节点做为检索结果提交给 LLM在LlamaIndex[1]的实现中，递归检索主要有两种方式：块引用的递归检索和元数据引用的递归检索。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8367
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
LangChain实战：使用 RAG 工作流程进行高效信息检索 Efficient Information Retrieval with RAG Workflow
AI天才研究院
10-22 1955
检索增强生成 (RAG) 是一种与预训练的大型语言模型 (LLM) 和您自己的数据配合使用来生成响应的模式。seq2seq它结合了预训练密集检索和序列到序列模型的强大功能。RAG 模型检索文档，将它们传递给 seq2seq 模型，然后边缘化以生成输出。article在我向您介绍 RAG 理论部分的文章的继续部分，我在这里向您介绍 RAG 在代码中的实现。让我们开始使用 Langchain 和 Hugging Face 来实现 RAG！
RAG检索增强优化:提高检索质量的关键技巧
AI天才研究院
05-02 478
检索模块(Retriever):从大规模语料库(如维基百科)中检索与查询相关的文档片段。生成模块(Generator):基于检索到的文档片段和原始查询,生成最终的答案或响应。两个模块通过交互式的方式协同工作,形成了一个端到端的问答或生成系统。
RAG Paper List - 检索增强生成论文汇总(1)
丨汀、的博客
08-28 182
RAG Paper List - 检索增强生成论文汇总(1)
高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望
人工智能讲师分享前沿技术
04-27 2767
如果我们使用多个源来生成答案，要么是由于初始查询的复杂性（我们必须执行多个子查询，然后将检索到的上下文合并到一个答案中），要么是因为我们在各种文档中找到了单个查询的相关上下文，问题是我们是否能够准确地回溯我们的来源。显然，尽管OpenAI是LLM提供商的市场领导者，但仍有许多替代方案，例如Anthropic的Claude、最近流行的较小但功能强大的模型，例如Mixtral形式的Mistral、Microsoft的Phi-2以及许多开源选项，例如Llama2、OpenLLaMA、Falcon。
一文说清大模型RAG应用中的两种高级检索模式：你还只知道向量检索吗？
weixin_42029738的博客
06-10 146
如果你知道RAG（检索增强生成），那么一定知道这里面的R代表Retrieval即检索，也一定知道这个环节对于最终的生成质量有多重要，而基于向量（Vector）的语义检索是最为熟知的一种基础检索模式。检索在复杂RAG应用中的重要性不言而喻，基于单一的向量语义检索很难满足实际企业生产环境下的复杂应用需求，以原型去应对生产的需求会导致举步维艰。这种方式与上一种的区别在于：一级的chunk链接到的对象不再是输出检索结果的检索器（retriever），而是一个RAG引擎，其输出的答案将作为后续生成的上下文。
LLM之RAG实战（二十四）| LlamaIndex高级检索（三）：句子窗口检索
wshzd的博客
02-05 1444
上面的图片，相关的句子是红色的，然后中间的相关句子以及句子上面和下面窗口句子一起传递给LLM以执行其响应（RAG的生成部分）。我们可以控制相关句子周围的句子窗口的大小。当句子窗口很小时，LLM将生成的响应将具有较低的groundedness，因为上下文没有向LLM提供足够的信息——因此，它开始使用从训练数据中获得的现有知识，我们称之为幻觉。相反，如果窗口大小太大，则由于LLM被提供了大量信息作为其最终响应的基础，因此，它最终会偏离所提供的信息，因为它太大，无法用其中的所有这些信息组成响应。
扩散模型（2）--1
m0_63860007的博客
09-29 977
生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
基于Keras的U-Net模型在图像分割与计数中的应用
最新发布
深度学习实战训练营，一起交流探索深度学习
10-04 1181
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1429
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
系统架构设计师教程：大模型RAG检索语料参考
在【标题】中提到的“RAG”通常代表风险、合规性和治理（Risk, Assurance, Governance），但在这个上下文中并未直接涉及，可能是因为标签有误或者文件内容中没有涵盖这一主题。因此，我们将重点放在描述中的“系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码讲故事

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值