RAG技术综合评测：python从零实现

已于 2025-03-26 22:26:16 修改
阅读量2.5k 收藏 23
点赞数 46
分类专栏： RAG python从零实现RAG增强 文章标签： python jupyter 开发语言 人工智能 AI 深度学习 RAG
于 2025-03-21 00:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36603091/article/details/146393786
版权

检索增强生成（RAG ）是一种结合信息检索与生成模型的混合方法。它通过引入外部知识来提升语言模型的性能，从而提高回答的准确性和事实正确性。为了简单易学，本系列不使用现有框架及向量数据库，而是利用python基本库编写所有技术代码。由简入深！语义分块、混合检索、想问题重写、循环反馈、自适应、HyDE等！

本篇是综合篇，在这个专栏对每种详细技术抛弃现有框架仅利用python基本库实现，加深理解！欢迎订阅，关注我！

文章目录

  • 评测结果
  • 评测环境
  • 评测准备
    • 导入库
  • 开始评测
    • 简单RAG
    • 语义分块
    • 上下文增强检索
    • 上下文块标题
    • 文档增强
    • 查询转换
    • 重排序器
    • RSE
    • 上下文压缩
    • 反馈循环
    • 自适应RAG
    • 自RAG
    • 知识图谱
    • 分层索引
    • HyDE
    • 融合
    • 多模型
    • Crag
  • 结论

评测结果

Adaptive RAG以0.86的最高分，超过分层索引（0.84）、Fusion（0.83）和CRAG（0.824）成为本轮测评冠军：
通过智能分类查询并为每种问题类型选择最合适的检索策略，Adaptive RAG表现出比其他方法更好的性能。能够动态切换事实性、分析性、观点性和上下文策略，使其能够以显著的准确性处理多样化的信息需求。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
python实现RAG相关思路与过程
NLP与推荐算法
05-17 570
python实现大模型向量检索RAG
RAG优化:Python从零实现强化学习RL增强
AI人工智能的学习之路
03-24 1991
我们最简单的 RAG 从查询和文档开始，文档被分块。嵌入模型根据查询找到相关块，并将前 K 个块作为上下文传递给 LLM，以生成该查询的响应。基于 RL 的 RAG我们的基于 RL 的 RAG 使用 RL 代理，该代理根据 LLM 的响应采取行动。行动可以包括重写查询、检索更多块或删除不相关的块。代理继续此过程多步（回合），直到获得最佳结果。让我们回顾一下这段奇妙的旅程：我们从最简单的 RAG 管道出发，一路披荆斩棘，最终用强化学习（RL）让它从“呆萌”变成了“机智”。
python实战（七）——基于LangChain的RAG实践
学习与分享人工智能技术
11-06 2089
本文详细介绍了使用LangChain构建RAG程序的各个流程，并给出了对应的python实现代码。
朴素RAG：Python从零实现
AI人工智能的学习之路
03-20 246
检索增强生成（RAG）是一种将信息检索与生成模型相结合的混合方法。它通过引入外部知识来增强语言模型的性能，从而提高准确性和事实正确性。数据摄取：加载并预处理文本数据。分块：将数据分成较小的块以提高检索性能。嵌入创建：使用嵌入模型将文本块转换为数值表示。语义搜索：根据用户查询检索相关块。响应生成：使用语言模型基于检索到的文本生成响应。本文实现了一个简单的RAG方法，评估模型的响应，并探索各种改进。
【Python大语言模型系列】不到两百行代码教你实现一个完整的RAG系统（案例+源码）
数据杂坛
07-19 2858
不到两百行代码教你实现一个完整的RAG系统（案例+源码）
RAG入门实践：手把手Python实现搭建本地知识问答系统
Arbboter的专栏
02-20 3702
向量数据库是AI时代的“数据配对专家”，用向量化思维解决非结构化数据的存储和检索难题，尤其适合需要。
茴香豆：搭建RAG 智能助理
不才妹妹的博客
04-13 1079
"mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth 现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
做好RAG 评测 从各个方面给出的建议和实现方案
最新发布
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
03-31 1029
通过系统化的评测和迭代优化，可构建高性能、高可靠的 RAG 系统。评测目标：评估 RAG 系统整体表现，包括检索+生成的协同效果。等多个维度进行系统性评估。评测目标：评估检索系统能否找到与用户问题最相关的文档。评测目标：评估系统是否易用、符合用户预期。评测目标：评估生成答案的。评测目标：评估系统在。
实战LLM应用（3）：一个基本的RAG系统（LangChain+Python）
weixin_60746677的博客
03-28 889
一个基本的RAG系统主要包含两个模块：索引模块(Indexing)、检索和生成模块(Retrieval and generation)。
从 0 打造私有知识库 RAG Benchmark 完整实践
易迟的专栏
06-19 1205
最近从 0 构建了一个大模型知识库 RAG 服务的自动化 Benchmark 评估服务，可以基于私有知识库对 RAG 服务进行批量自动化测试与评估。本文是对这个过程的详细记录。本文实际构建的是医疗行业知识库，基于高质量的医学指南和专家共识进行构建。而实际的问答对也基础知识库已有文档生成，避免参考源不存在导致的大模型幻觉，可以更加客观反映 RAG 服务的能力。当然整体的构建流程是与行业无关的，可以参考构建其他的测评知识库。
向量检索与 RAG 实践：关键概念、应用场景与高效索引实战
qq_38334677的博客
01-07 1616
在当代信息爆炸的时代，如何从海量数据中精准地找出与用户需求最为匹配的内容，成为了亟待解决的问题。传统的文本检索方法更多依赖于关键词匹配或基于倒排索引的策略。然而，随着自然语言处理、语义理解以及深度学习的飞速发展，越来越多的场景需要更高层次、更具语义化的检索方式。在此背景下，向量检索（Vector Search）应运而生。向量检索，本质上就是将文本、图像、音频或者更广义的高维数据用向量（通常是浮点数数组）的形式表示，并在检索阶段将待查询的数据也转化为向量，进而通过计算相似度来判断“匹配程度”的一种检索方式。
【玩转深度学习】检索增强内容生成（RAG）实战项目
十二月的猫
08-15 1372
通过第一篇文章检索增强内容生成（RAG）1·RAG及其技术的概述-CSDN博客，我们已经知道RAG技术的作用就是用来增强生成式大语言模型（GPT4.0、GPT3.5等）。而想要方便灵活的增强生成式大语言模型就需要用到LangChain框架，在LangChain框架中调用OpenAI的接口，同时结合RAG等技术来强化大语言模型，从而实现对LLM模型的强化完整运用RAG技术可以分为三个部分：1、建立索引知识库（Indexing）；2、检索索引知识库（Retrieval）；
【大模型】一个简单程序看透 RAG 的核心原理，理解优化 RAG 的关键要点
2401_85373691的博客
12-17 1039
通过这个简单的程序，我们不仅看到了 RAG 系统的完整实现，更重要的是理解了每个组件的作用和importance。特别是检索器的准确性，它直接决定了整个系统的表现。在实际应用中，除了选择合适的大语言模型，我们更应该关注如何提升检索的准确性，包括：优化文档的切分策略选择合适的 embedding 模型调整向量检索的参数改进相似度计算方法只有确保检索器能够准确找到相关文档，RAG 系统才能充分发挥其潜力，帮助大语言模型生成更准确的答案。
实操版：手把手教你搭建RAG及Embedding如何选择？（含完整代码）
大F子的智能小课
02-23 86
建议选择高纤维低脂肪的燕麦牛奶，这是健康的减肥选择。避免高热量食物如油条。选择适合的模型，才能让AI准确找到"正确答案库"！使用sentence-transformers。假设用户提问：“早餐怎么吃能减肥？选all-mpnet-base。选BGE-small。选BGE-large。
用检索增强生成让大模型更强大，这里有个手把手的Python实现
zdm_0301的博客
04-20 410
本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排（orchestration）的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。本文介绍了 RAG 的概念，其最早来自 2020 年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。在介绍了 RAG 背后的理论（包括动机和解决方案）之后，本文又介绍了如何用 Python 实现它。
python实战（四）——RAG预热实践
学习与分享人工智能技术
10-28 1789
本文实现了一个破产版RAG应用，用于介绍RAG对大语言模型的重要作用。
RAG场景下Python读取pdf文件(附代码)
大数据，大模型，服务器，技术、架构，方案
11-27 472
代码很简洁（但是解析文件时会打印一些进度条影响观感），保留了标题级别等信息，表格没有恢复为完美的 markdown 的表格语法，表格识别的效果整体上与上面的库差不多。一般来说，不进行复杂的布局检测和特殊处理的话，效果不会差异很大，实际的使用效果需要搭配 LLM 进行验证，或许阅读友好的格式对 LLM 来说不一定是最合适的。处理 PDF 文件时需要使用专门的库来提取文本内容，常用的库有 PyPDF 2 和 pdfplumber。效果一言难尽，首先是都有的硬换行问题，其次就是表格乱换行，无法阅读。
OPENAI中RAG实现原理以及示例代码用PYTHON来实现
dzend的专栏
05-05 2110
在当今人工智能领域，自然语言处理（NLP）是一个非常重要的研究方向。近年来，OPENAI发布了许多创新的NLP模型，其中之一就是RAG（Retrieval-Augmented Generation）模型。RAG模型结合了检索和生成两种方法，可以用于生成与给定问题相关的高质量文本。本文将介绍RAG模型的实现原理，并提供使用Python编写的示例代码。
一百行代码实现自己的RAG知识库
2301_81940605的博客
10-18 1601
RAG (Retrieval-Augmented Generation) 是一种结合了检索和生成的混合式深度学习模型，常用于处理复杂的自然语言处理任务。RAG模型通过将外部知识库中的信息与生成模型结合在一起，可以提供更准确和上下文相关的答案。
RAG中生成模型评测
01-21
### RAG 检索增强生成模型评测的方法与指标 #### 评估框架概述 为了有效评估检索增强生成(Retrieval Augmented Generation, RAG)系统的性能，在探索和优化过程中已经形成了一套综合性的评价体系[^1]。该体系不仅...
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI仙人掌

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值