—1—
什么是 RAG ？
RAG 检索增强生成本质上来讲，就三件事情：
第一、Indexing 索引。即如何更有效地存储知识。
第二、Retrieval 检索。即在庞大的知识库中，如何筛选出少量的有益知识，供大模型参考。
第三、Generation 生成。即如何将用户的提问与检索到的知识相结合，使得大模型能够生成有价值的回答。
这三个步骤表面上看似乎并不复杂，然而在 RAG 从构建到实际部署的整个流程中，包含了众多精细且复杂的工作环节，这些落地细节是最具挑战的工作。
虽然 RAG 架构基本上是按照这些模块来设计的，但不同的实施方案在具体落地时各有其独特之处。
下面详细对比剖析。
—2—
RAG 开源框架架构对比
第一、网易 QAnything
网易 QAnything 的亮点在于 Rerank 模块。
第二、RAGFlow
RAGFlow 的亮点在于数据处理模块和知识索引构建模块。
第三、智谱 RAG
智谱 RAG 的亮点在于文档解析、切片、Query 改写及 Recall 模型的微调。
第四、FastGPT
FastGPT 的优点是模块动态配置灵活。
—3—
开源 RAG 框架的各个模块对比
第一、知识处理模块
-
QAnything 的此模块使用了 PDF 文件解析，具体是通过 PyMuPDF 库来完成的，该库是目前效率最高的解析工具。在解析文档内容时，无论是文本文件还是图像文件，均使用 PyMuPDF 的 get_text 方法。需要注意的是，如果图像文件中不包含文字，使用此方法时将会出现错误。
-
RAGFlow 的此模块 使用 OCR 和文档布局分析等功能，在标准的 RAG（检索增强生成）系统中通常被归为一个不太显眼的非结构化数据加载器部分。据此推测，RagFlow 的一个关键优势很可能在于其文件解析的能力。
-
智谱 RAG --：
-
FastGPT --：
第二、召回模块
-
QAnything 向量库使用了 Milvus 的混合检索策略（结合 BM25 全文检索和向量检索），在检索过程中不设定任何阈值，直接返回前 100 个最相关的结果（TopK =100）。
-
RAGFlow 向量数据库选用了 ElasticSearch 进行操作。它实现了文本检索与向量检索的混合模式，尽管未明确指定所用的向量模型，但在文本检索方面，使用了 “huqie” 作为分词工具。
-
智谱 RAG 混合检索结合语义和全文检索，利用 BGE-M3 向量模型，不直接通过向量或文本检索召回数据，而是使用 RFF 算法进行排序。
-
FastGPT 文章结构切片和递增索引策略有效解决了问题。四种数据构建方案表现佳：
-
-
查询对原文：直接召回知识片段。
-
查询对查询：便于维护，自动提取查询。
-
查询对摘要：建立摘要与片段映射。
-
伪答案对原文：生成伪答案召回片段。
-
并对 Embedding 模型进行微调。
第三、Rerank 模块
-
QAnything 精确排序使用自定义的 Rerank 模型，阈值设定为 0.35。
-
RAGFlow 重排排序结合了文本匹配得分和向量匹配得分，其中文本匹配的默认权重为 0.3，向量匹配的权重为 0.7。
-
智谱 RAG 支持重排功能，可动态调整设置；整合嵌入向量（Embedding）与全文搜索（FullText）的结果，并按 ID 进行去重处理；对问答（QA）字符串进行拼接，移除其中的空格和标点符号，并对处理后的字符串进行哈希编码以实现去重；若已配置重排序（Rerank）模型，则调用该模型对结果进行重新排序，并在评分（Score）中新增重排序得分；若未配置，则评分中不会包含重排序得分。
-
FastGPT --：
第四、大模型处理模块
-
QAnything 将所有数据集合并至一个提示词（Prompt），并对最大 token 长度进行了优化处理。
-
RAGFlow 对大模型可处理的 token 数量进行限制筛选。
-
智谱 RAG --。
-
FastGPT 在模型微调过程中，我们采取了分步骤的策略：起初使用公开可用的通用问答数据集进行初步微调，随后利用特定领域的问答数据进行进一步微调，最终使用经过人工精确标注的高质量问答数据来进行细致的微调。
第五、Web 服务模块
-
QAnything 利用 Sanic 框架搭建 Web 服务。
-
RAGFlow 基于 Flask 构建 Web 服务。
-
智谱 RAG --。
-
FastGPT --。
第六、切词处理模块
-
QAnything 利用自定义的 ChineseTextSplitter 完成。
-
RAGFlow 基于 huqie 完成。
-
智谱 RAG --。
-
FastGPT --。
第七、文件存储模块
-
QAnything --。
-
RAGFlow MinIO 被选用于文件存储解决方案。。
-
智谱 RAG --。
-
FastGPT --。
—4—
RAG 框架总结
1、Qanything 的 Rerank 模块设计极为出色。
2、RAGFlow 在文档处理方面表现卓越。
3、FastGPT 模块具备丰富的动态配置选项。
4、智谱 RAG 在特定领域数据的微调训练上表现最佳。
然而，一切脱离业务场景谈架构都是耍流氓，结合具体业务场景考虑下，并不存在绝对的“最好”。在各自的业务场景应用中，能够成功实施并产生效果的就是最佳选择。实践落地才是关键，落地成效为王道！
—5—
系统的去学习大模型
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
😝有需要的小伙伴，扫描下方二维码免费领取
全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
AI大模型商业化落地方案
阶段1：AI大模型时代的基础理解
目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
L1.1 人工智能简述与大模型起源
L1.2 大模型与通用人工智能
L1.3 GPT模型的发展历程
L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
L2.2 Prompt框架
- L2.2.1 什么是Prompt
- L2.2.2 Prompt框架应用现状
- L2.2.3 基于GPTAS的Prompt框架
- L2.2.4 Prompt框架与Thought
- L2.2.5 Prompt框架与提示词
L2.3 流水线工程
- L2.3.1 流水线工程的概念
- L2.3.2 流水线工程的优点
- L2.3.3 流水线工程的应用
L2.4 总结与展望
阶段3：AI大模型应用架构实践
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
L3.1 Agent模型框架
- L3.1.1 Agent模型框架的设计理念
- L3.1.2 Agent模型框架的核心组件
- L3.1.3 Agent模型框架的实现细节
L3.2 MetaGPT
- L3.2.1 MetaGPT的基本概念
- L3.2.2 MetaGPT的工作原理
- L3.2.3 MetaGPT的应用场景
L3.3 ChatGLM
- L3.3.1 ChatGLM的特点
- L3.3.2 ChatGLM的开发环境
- L3.3.3 ChatGLM的使用示例
L3.4 LLAMA
- L3.4.1 LLAMA的特点
- L3.4.2 LLAMA的开发环境
- L3.4.3 LLAMA的使用示例
L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
L4.1 模型私有化部署概述
L4.2 模型私有化部署的关键技术
L4.3 模型私有化部署的实施步骤
L4.4 模型私有化部署的应用场景
学习计划：
阶段1：1-2个月，建立AI大模型的基础知识体系。
阶段2：2-3个月，专注于API应用开发能力的提升。
阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以扫描下方链接。免费领取【保证100%免费】 https://mp.weixin.qq.com/s/tgqu1LcZE8ZmdkwC1UlNqw
132
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
