RAG大升级：上下文数据增强让检索准确率飙升67%！

于 2024-10-07 09:43:27 发布
阅读量416 收藏 7
点赞数 10
文章标签： java 人工智能 数据库 embedding 产品经理 职场和发展 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85375186/article/details/142735924
版权

RAG系统的检索失败率暴跌67%！

这不是魔法，而是上下文数据增强的威力。

还在为RAG（检索增强生成）系统的检索准确率发愁吗？

别担心，“上下文检索”（contextual retrieval）这个新概念可能就是你一直在寻找的解决方案。

一年前，这种方法因为成本高昂而被认为不切实际。但现在，随着小型语言模型（SLM）的飞速发展，这个曾经的"天方夜谭"已经变成了触手可及的现实。

一起来深入了解这个可能彻底改变RAG应用格局的技术吧！

什么是上下文数据增强？

在机器学习界有句老话：“垃圾进，垃圾出”。这句话在RAG应用中同样适用——你的RAG系统的表现，很大程度上取决于它检索到的上下文质量。

而上下文数据增强，就是通过在文本块中添加有用信息，来提高检索的准确性和降低失败率的方法。

一个生动的例子

想象一下这样一个场景：

问题：「ACME公司2023年第二季度的收入增长是多少？」

原始文本块：「该公司的收入比上一季度增长了3%。」

乍一看，这个文本块似乎提供了正确的信息。但仔细想想，我们真的确定这是在说ACME公司吗？这真的是2023年第二季度的数据吗？

这就是上下文数据增强发挥作用的地方。使用SLM，我们可以在文本块进入索引之前对其进行增强：

增强后的文本块：「这段信息来自ACME公司2023年第二季度的SEC文件；上一季度的收入为3.14亿美元。该公司的收入比上一季度增长了3%。」

看到区别了吗？

增强后的文本块不仅提供了原始信息，还添加了关键的上下文细节，大大提高了检索的准确性。

为什么现在可行？

你可能会问，既然这么有用，为什么之前没人这么做？

答案很简单：成本。

一年前，对海量文本块进行这样的增强处理，无论是在计算资源还是时间成本上，都是一个巨大的负担。

但现在，随着小型语言模型（SLM）的性能大幅提升和成本显著下降，这种方法已经变得可行且经济。

虽然对于包含数十亿文本块的超大型数据集来说，这种方法可能仍然不太实际，但对于大多数RAG应用来说，这绝对是一个值得探索的优化方向。

实施建议

如果你正在为RAG系统的检索准确率问题头疼，不妨考虑在数据摄入阶段加入上下文数据增强这一步骤。具体可以：

  1. 使用小型但高效的语言模型进行文本增强

  2. 针对不同类型的数据，设计特定的增强策略

  3. 对增强后的文本进行质量检查，确保新增信息的准确性

  4. 评估增强前后的检索性能，量化改进效果

结语

上下文数据增强无疑为RAG系统带来了新的可能。它不仅能提高检索准确率，还能为下游任务提供更丰富、更有价值的上下文信息。

当然，这项技术还在不断发展中。我们期待看到更多创新的应用和优化方法，进一步推动RAG系统的性能提升。

你的RAG准备好升级了吗？

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述

四、LLM面试题

在这里插入图片描述

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~
在这里插入图片描述

大模型玩家
关注
绝了！这样做竟能让RAG准确率飙升至90%以上，简直开挂！
mama19971023的博客
08-03 928
我们需要根据实际的业务场景来设置不同的回应策略，例如当Top K 匹配不到时，可以直接返回特殊的语言标记，比如”知识库找不到问题相关的信息“，或者直接让LLM使用通用知识作答；又比如产品应用需要提供多轮对话，即拥有上下文联想功能时，我们还需要将历史会话记录整理后一起拼接到提示词中。
LLM准确率飙升27%！DeepMind提出全新「后退一步」Prompt技术
Paper weekly
12-01 104
©作者 |拉燕来源 |新智元谷歌DeepMind全新提示技术「Step-Back Prompting」，让LLM性能拉满！前段时间，谷歌DeepMind提出了一种全新的「Step-Back Prompting」方法，直接让prompt技术变得脑洞大开。简单来说，就是让大语言模型自己把问题抽象化，得到一个更高维度的概念或者原理，再把抽象出来的知识当作工具，推理并得出问题的答案。论文题目：Take...
RAGFlow v0.9 重磅升级，支持 GraphRAG，开启下一代 RAG 之旅！
FrenzyTechAI的博客
08-09 1495
RAGFlow v0.9 的发布，标志着知识图谱增强型 RAG 系统 (RAG 2.0) 的全新时代正式开启。GraphRAG 作为其中的先行者，展现了 LLM 驱动下的知识图谱构建技术所蕴含的巨大潜力。它不仅为 RAG 系统注入了更强大的语义理解和知识推理能力，也为智能问答、语义搜索、知识发现等领域的应用打开了新的大门。GraphRAG 之所以能够取得成功，很大程度上得益于它对传统知识图谱构建流程的简化，使其更容易在实际工程中落地。
号称世界上第一个开源实时翻译的 App，微软开源GraphRAG：极大增强大模型问答、摘要、推理，以及开源基于ChatGPT的超级文本代码智能体（附代码地址）
代码讲故事
07-12 1604
号称世界上第一个开源实时翻译的 App，微软开源GraphRAG：极大增强大模型问答、摘要、推理，以及开源基于ChatGPT的超级文本代码智能体（附代码地址）
全球最强开源模型一夜易主，1320亿参数推理飙升2倍！
人工智能讲师分享前沿技术
07-28 398
比如，训练DBRX系列中较小的成员DBRX MoE-B（总参数为23.5B，活跃参数为6.6B）所需的Flop比LLaMA2-13B少1.7倍，才能在Databricks LLM Gauntlet上达到45.5%的得分。而Databricks的员工激动地表示，过去3个月，朋友们周末约我都说「不行，这周不行我有事，但是又不能说有啥事」的日子终于结束了，DBRX就是我们加班加点搞出来的一头「怪兽」。在租用的3072个强大英伟达H100 GPU上训练模型两个月后，DBRX在多个基准测试中已经取得了卓越的成绩。
搜索准确性提升 20%，Jina Reranker 成为 RAG 优化的新标杆！
Jina AI 的博客
03-05 1751
日前，我们正式发布了 Jina Reranker(jina-reranker-v1-base-en)，专为提高搜索准确性打造。Jina Reranker 在多个权威测评中屡获领先，实验数据显示，相比简单 RAG 系统，搭载该模型的检索系统命中率提高 8%，MRR 更是飙升 33%。
大模型关键技术与应用
xzp740813的博客
07-11 1505
2022年底，OpenAI发布了跨时代的ChatGPT应用。这是第一个具有流畅的多轮对话体验、渊博的通识知识，并能够深刻理解人类意图的生成式人工智能（AI）应用。它的成功使大模型成为AI的主旋律，在极短的时间内改变了AI产业的格局。尽管距离ChatGPT的发布仅过去一年多，但大模型技术已经取得了巨大的进展。随着GPT-4、Gemini、Sora、Claude3、Kimi等一系列大模型的陆续发布，大模型能力已迅速提升，甚至更为强大的通用人工智能（AGI）已初见端倪。
AI视界周刊第 1 期：最具性价比 GPT-4o mini 发布、大模型集体失智、语言模型安全漏洞
战场小包的博客
07-22 2618
AI 视界周刊由战场小包维护，每周一更新，包含热点聚焦、应用破局、学术前沿、社区热议、智见交锋、跨界 AI、企业动态和争议 AI 八大板块，后续板块划分和内容撰写在周刊迭代过程中持续优化，欢迎大家提出建议。
AI视界周刊第 1 期：大模型集体翻车、最具性价比 GPT-4o mini 发布、语言模型安全漏洞
2401_85324918的博客
07-29 702
让人大跌眼镜的是，AI2 的研究员林禹臣向 GPT-4o 提出了这个问题，GPT-4o 也认为 13.11 更大，这一现象引起了社区的广泛讨论和尝试，几乎所有的 LLM 大模型都在类似的问题上翻车了。LLM 本质上并不具备真正的推理能力，更多是返回概率较大的回答，为了增强 LLM 的生成效果质量，检索增强式生成（RAG）被提出，RAG 基于向量相似性增加问题与答案间匹配的概率，但是 RAG 方案并没有构建起向量间的联系，在全面和综合理解方面表现不佳。现在，AI 似乎已经进入了奥本海默时刻。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
在对话系统中，检索组件能够从大规模知识库中检索相关信息，而生成组件则负责根据上下文生成连贯、合理的回复。这种结合使得RAG能够在回答问题时参考到外部知识，提高回答的准确性和全面性。 接下来，我们要了解...
RAG检索增强:融合稀疏与密集检索的新思路
AGI通用人工智能之禅
05-06 275
信息检索技术经历了漫长的发展历程，从早期的基于关键词匹配的布尔检索，到后来的基于统计模型的概率检索，再到如今的基于深度学习的语义检索，每一次技术革新都带来了检索效果的显著提升。然而，随着信息量的爆炸式增长和用户需求的日益多样化，传统检索技术面临着新的挑战。RAG 框架是信息检索领域的一项重要创新，它结合了稀疏检索和密集检索的优势，能够生成更准确、更全面的检索结果。多模态检索：将 RAG 框架扩展到多模态数据，例如图像、视频等。个性化检索：根据用户的历史行为和偏好进行个性化检索。可解释性。
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
丨汀、的博客
01-09 3284
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 2989
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
JDK1.0主要特性
最新发布
FoolRabbit的专栏
10-06 219
JDK1.0主要特性。
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 461
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
spring-boot 整合 mybatis
m0_72168501的博客
09-29 562
spring boot 整合 mybatis
Java内存布局
阿呆的专栏
10-01 809
64位 JVM 不启用指针压缩时：Object Header 大小是16字节。64位 JVM 启用指针压缩时（默认）：Object Header 大小是12字节。32位 JVM：Object Header 大小是8字节。JVM在默认情况下启用指针压缩，但如果堆内存超过32GB，就会禁用指针压缩。32GB是压缩指针的最大寻址范围。超过32GB的堆内存中，压缩指针带来的性能提升并不显著，而且需要解压指针反而可能增加开销。
【RocketMQ】RocketMQ应用难点
记录一名在读研究生的学习笔记、感悟、开发产物
09-30 890
本文探讨了RocketMQ中消息重复消费的问题及其解决方案，尤其是在CLUSTERING模式下的扩容影响。文章分析了重复消费的原因，如广播模式、负载均衡模式下的多consumerGroup消费、消费者组内的动态变化及网络延迟等，并提出了利用唯一标识进行去重的方法。此外，还讨论了如何选择合适的存储机制以高效处理大量消息标识，如HashMap、MySQL、Redis以及推荐的布隆过滤器等方案。对于防止消息堆积与确保消息不丢失，也给出了相应的策略和技术措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值