构建稳健RAG应用：文档索引与存储的深度解析

最新推荐文章于 2024-09-15 08:03:51 发布
最新推荐文章于 2024-09-15 08:03:51 发布
阅读量592 收藏 25
点赞数 19
文章标签： 数据库 oracle 安全 llama 大模型 AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85343303/article/details/141187097
版权

这部分笔记是关于RAG系统中文档索引与存储部分（下一篇关于检索与生成），感觉挺适合作为checklist用于对自己的系统查漏补缺的，同样先放一张整体的架构图：

image.png

1、Encoder

Encoder将查询输入的文本转换为向量（其实就是embedding），在RAG应用中这可能是最重要的一个部分，在embedding模型的选择和评估上可以参考下面的一些方法

  • MTEB Benchmark：这个benchmark对很多embedding模型进行了打分，并且列出来了这些模型的大小、输出维度等（包括openai的模型），可以作为一个参考：[huggingface.co/spaces/mteb…]
  • 自定义评估：如果数据集包含敏感数据，或者是很小众的领域，可能需要自定义一些评估手段以获得比较好的效果，有几种比较常用的方法： 通过标记来评估：生成一个数据集并对其打标签，使用检索的指标来定量评估（例如MRR和NDCG） 通过模型来评估：同样生成数据集并打标签，但是用LLM来评估embedding模型的相对性能，再对排名最高的三个进行手动筛选

除了效果之外，还有一些因素是需要关注的：

  • 查询和索引成本：例如早期用openai等第三方的api会更加简单且便宜，自己部署模型需要考虑gpu成本和延时，还需要自己操心运维
  • 向量数据库成本：如果文本量比较大，需要存储大量的embedding数据和文档片段，在选择embedding维度的时候需要仔细计算这方面的成本，向量数据库通常是按存储大小收费的（血泪教训+1）
  • 语言：如果用户会使用多语言，那么embedding最好也能支持多种语言
  • 搜索延迟：搜索的延迟与embedding的维度是线性增长的，如果对延迟要求比较高最好用输出维度比较低的embedding
  • 隐私：如果输入数据涉及到用户隐私，那么openai等公开api则不够安全

2、文档解析

在RAG应用中我们需要将外部的文档索引后进行存储，以便在查询的时候进行检索，一个好的RAG系统应该支持多种格式输入，例如pdf/word/excel等，除了文档本身的内容之外，还需要提取其他相关的信息：例如表格数据、图像的ocr识别、文件的meta信息、甚至文档中超链接的内容等，总之这部分内容挺繁琐的。

3、文档分块

选择合适的文档分块方法是至关重要的，如果太小则无法正确回答问题，如果太大则会有很多噪声，并且难以检索，这个视频在这方面做了很详细的介绍：[youtube.com/watch?v=qaP…]。对于特定领域的数据，还需要领域知识来进行调整，例如对于python的代码会基于def/class关键字来进行分块，可以参考这个文章：[rungalileo.io/blog/master…]

image.png

4、Indexer

Indexer负责管理文档的索引，和数据库系统很像，有很多类似的软件工程上的挑战：

  • Scale的问题：随着文档的增加，依旧要能快速的进行检索
  • 实时、一致性与原子性：如果一套系统会有大量并发的增删改查，这里会有挑战
  • 优化存储空间：存储大量的索引会有很大的存储成本，如何保持服务可用性的同时减少存储空间也是一种挑战
  • 监控：对于索引相关的问题需要有全面的监控，例如索引失败、资源瓶颈、索引过期等问题要及时发现

5、数据存储

系统中的数据存储包括以下几个部分：

  • embedding：单独存储在向量数据库中
  • 文档：pdf文件等，用s3等存储系统
  • 聊天记录/用户反馈等：存储在sql表中

6、向量数据库

向量数据库在整个系统中是很关键的一环，目前市面上有很多产品，这个网站对不同的向量数据库进行了详细的比较，可以参考下：superlinked.com/vector-db-c…。在选择向量数据库的时候需要考量下面这些因素：

  • recall和latency的tradeoff：不同的索引方式（Flat, HNSW, PQ等）有不同的倾向，根据自己的需求来选择

  • 成本：SaaS服务的向量数据库通常根据存储量大小和检索量来收费，同样也可以自己部署开源产品，但需要操心运维

  • 插入/查询速度的tradeoff：大多数情况下会优先考虑查询速度，需要对二者都做压测

  • 内存/硬盘存储：同样也是速度与成本之间的tradeoff，一些新的索引可以实现在硬盘上的高效索引（例如DiskANN中的Vamana）

  • 混合检索：单独的向量检索可能效果会不够好，有的向量数据库可以实现sparse和dense的混合检索，并提供一个超参数用于调整两边的权重，例如Pinecone，可以参考这篇文章：pinecone.io/learn/hybri… GKownpDbYAAULTe.jpg

  • 过滤：通常我们在检索的时候，会需要根据metadata进行一些过滤，这种过滤可分为检索前过滤和检索后过滤，检索前过滤可能会丢失一些相关结果，检索后过滤则会提高计算成本，尤其是满足过滤条件的数据占比较小的时候，有的向量数据库可以自定义过滤方式，例如Weaviate。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

AI-椰子不椰
关注
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
丨汀、的博客
08-27 89
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
（17-2-01）检索增强生成（RAG）：文档加载器（1）
码农三叔
04-25 1139
实例文件biao.py的具体实现代码如下所示。
RAG中常用的索引（Index）方式
weixin_45312236的博客
05-29 1294
文本摘要提取：使用文本摘要技术从文档中提取关键句子或段落，形成摘要。关键词提取：识别文档中的关键词汇或短语，以代表文档的主要内容。元数据生成：可能包括文档的标题、作者、发布日期等信息，以及与文档内容相关的标签或分类。结构化存储：将摘要和元数据以结构化的形式存储在数据库中，如关系数据库或NoSQL数据库。快速检索：通过索引快速访问文档的摘要和关键信息，以评估文档的相关性或作为生成回答的参考。
精通 RAG：如何构建企业 RAG 系统
2401_85343303的博客
07-12 1008
构建一个强大且可扩展的企业级 RAG 系统显然需要仔细协调互连的组件。从用户身份验证到输入护栏、查询重写、编码、文档摄取和检索组件（例如向量数据库和生成器），每个步骤都在塑造系统性能方面发挥着关键作用。在不断发展的 RAG 系统领域，我们希望这份实用指南能帮助开发人员和领导者获得可操作的见解！
RAG应用的典型工作流程
人工智能曾小健
04-19 1015
在总结中，我们看到了 RAG（检索增强生成）系统的快速进步，这包括了能够定制并推动 RAG 在多个领域性能和实用性进一步提高的先进范式的开发。例如，通过适应性增强检索技术(AAR(opens in a new tab))，REPLUG(opens in a new tab)，和UPRISE(opens in a new tab)等方式来实现。这些工具和服务的开发，不仅推动了 RAG 技术的应用范围扩展，也为研究人员和开发者提供了更多的可能性，使他们能够更容易地探索和实现复杂的 RAG 应用。
RAG遇见LLMs：走向检索增强型大语言模型
Z4400840的博客
08-09 951
作为人工智能中最先进的技术之一，检索增强生成（RAG）技术可以提供可靠且最新的外部知识，为众多任务提供了巨大便利。特别是在人工智能生成内容（AIGC）时代，RAG中检索的强大能力在提供额外知识方面使得检索增强生成能够辅助现有生成型人工智能产生高质量输出。最近，大型语言模型（LLMs）展示了在语言理解和生成方面的革命性能力，但仍面临固有限制，如幻觉和过时的内部知识。
RAGFlow：引领OCR与文档解析技术革新的下一代RAG引擎
xzq_qzx_的博客
04-28 1894
在人工智能的蓬勃发展浪潮中，检索增强生成（RAG）技术凭借其独特优势，迅速成为研究和应用的焦点。RAG技术巧妙地将大型语言模型（LLMs）的卓越生成能力与高效的信息检索系统相结合，为用户带来前所未有的交互体验。然而，随着技术的深入应用，一系列挑战也逐渐浮出水面。现有的RAG系统在处理海量数据时，常常面临效率和准确性的双重考验。尽管LLMs在生成流畅文本方面表现出色，但在面对复杂、非结构化的数据时，它们往往难以精准捕捉和提取关键信息。
RAG在教育领域的应用：个性化学习与智能辅导
程序员光剑
04-30 861
RAG在教育领域的应用：个性化学习与智能辅导 1.背景介绍 1.1 教育领域的挑战 在当今快节奏的数字时代,教育领域面临着前所未有的挑战。学生的学习需求日益多样化,教育资源的获取也变得更加便利。然而,传统的"一刀切&qu
【解决方案】RAG实践：ES混合搜索BM25+kNN(cosine)
天然玩家的博客
07-07 1757
本系列分为两大部分：**实践**和**理论**。 **先讲**实践，**应对快速开发迭代**，可快速上手实践； **再讲**理论，**应对优化**，如归一化。
4.网络编程
weixin_45476535的博客
09-14 470
程序注册端口：1024-49151。单个协议下，端口号不能冲突。公有端口0-1023。
【学习笔记】手写 Tomcat 三
LearnTech_123的博客
09-12 1119
响应动态资源不需要写文件名了，只需要写功能的名称即可。比如登录功能，可以定义名称为 doLogin
基于SpringBoot的考研资讯平台设计与实现
linzhongshu的专栏
09-13 904
对于本次的系统开发来看，它主要是把我以前所学的知识进行了一次综合的应用。经过这次毕业设计的制作它主要是把我以前所学的理论知识应用到社会实践当中。通过这一次的考研资讯平台的设计与实现它能够有效把计算机知识与实际问题相互应用，通过计算机网络技术来解决学生生活当中的实际问题，从而提高我的编程能力。虽然在这次毕业设计当中我遇到了很多的问题和困难，但是通过不断的调试和老师的帮助让我圆满的完成了这次毕业设计。
55 mysql 的登录认证流程
最新发布
970655147的专栏
09-15 826
这里我们来看一下 mysql 的认证的流程我们这里仅仅看 我们最常见的一个 认证的处理流程我们经常会登录的时候 碰到各种异常信息大概的流程是这样客户端和服务器建立连接之后, 服务器向客户端发送 salt然后 客户端根据 salt 将客户端传入的密码加密之后, 以及相关登录信息传递给服务器然后 服务器进行验证, 验证失败, 响应对应的错误信息给客户端服务器发送 salt 的信息如下客户端发送的认证请求如下服务器响应的认证失败信息如下。
PHP在现代Web开发中的高效应用与最佳实践
运维人生
09-13 1053
我们将使用Laravel框架来构建一个简单的博客系统，该系统包括文章发布、编辑、查看和评论等功能。PHP作为一门成熟且强大的服务器端脚本语言，在现代Web开发中依然扮演着重要角色。通过遵循最佳实践、利用现代PHP版本的特性和成熟的框架与组件，开发者可以高效构建出稳定、安全、可扩展的Web应用。本文通过一个简单的博客系统案例，展示了PHP在实际项目中的应用方法和技巧，希望能为PHP开发者提供一些有益的参考和启发。
110个oracle常用函数总结
m516387177的博客
09-12 862
nvl2 (expr1, expr2, expr3) ->expr1不为null，返回expr2；为null，返回expr3。nvl(expr1, expr2)->expr1为null，返回expr2；不为null，返回expr1。求最大值,all表示对所有的值求最大值,distinct表示对不同的值求最大值,相同的只取一次。求最小值,all表示对所有的值求最小值,distinct表示对不同的值求最小值,相同的只取一次。nullif (expr1, expr2) ->相等返回null，不等返回expr1。
转行软件测试工程师经验总结
2402_84109700的博客
09-12 560
数据安全官，CCRC-DSA数据安全评估师，CCRC-DCO数据合规官，CDO首席数据官, ITSS IT服务项目经理，IT服务项目工程师，ISO27001,CISP,软考,CISAW应急服务方向,CISAW渗透测试方向,软考,CCSC网络安全能力,工信部教考中心计算机网络安全相关认证办理。在测试理论方面，要熟悉常用的测试用例设计方法，理解不同测试类型的特点，掌握测试用例的基本格式，以及测试结束的标准。最终，我如愿以偿地加入了一家互联网公司，这里的办公环境优越，薪资也较之前的工作有所提升，使我心情愉悦。
linux环境下手动安装mysql
weixin_45583482的博客
09-14 918
没想到兜兜转转这么些年，今天申请个云服务器用来搭建求生2服务器，先用mysql来测试，结果还是花了相当久的时间。基本所有单节点部署应用到linux环境，都三个流程：1 下载安装包2 解压修改配置文件3 运行启动脚本我们按这个流程来说我遇到并解决的问题 ，如果你在过程中遇到什么问题，也请先暂停你的启动流程，移步到最下面的内容，看看是否有和你遇到一样的问题，解决以后继续。
mariadb主从配置步骤
weixin_40539956的博客
09-13 864
c) 检查主日志文件和位置是否正确。使用的值（‘mysql-bin.000001’ 和 798）可能不是最新的。b) 确保复制用户在主服务器上拥有必要的权限。注意：出于安全原因，不建议使用 ‘root’ 作为复制用户。最好为复制创建一个专用用户。c) 使用正确的信息重新配置主服务器。如果它们都是 “Yes”，则复制应该正在工作。具体路径可能因系统配置而异。
RAG：知识检索与生成的融合，解决LLM知识更新难题
其次，RAG通过检索系统与LLM的协作，降低了对模型本身更新频率的需求，减轻了训练资源的压力。 具体的技术实现方面，数据索引是关键，需要高效地组织和存储大量信息以便于快速检索。检索环节通常采用高效的搜索算法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值