从零开始学 Dify- RAG 知识库系统设计详解

最新推荐文章于 2025-05-18 20:17:36 发布
最新推荐文章于 2025-05-18 20:17:36 发布
阅读量723 收藏 16
点赞数 22
文章标签： embedding LLM 人工智能 langchain 大数据 dify 大模型应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/147917352
版权

RAG（检索增强生成）知识系统是 Dify 的核心组件，它使 AI 应用程序能够检索和利用外部知识。该系统管理从文档提取到知识检索的整个流程，支持不同的索引技术、文档处理方法和检索策略。

接下来将分别介绍各个子系统：

模型提供者系统(Model Provider System) ✅

RAG 知识系统(RAG Knowledge System) ✅

对话系统(Conversation System)

工作流系统(Workflow System)

 

架构概述

RAG 知识系统遵循三阶段提取-转换-加载 (ETL) 流程进行文档处理，并结合复杂的检索机制进行知识访问。

RAG 系统架构图

RAG（检索增强生成）知识系统使应用程序能够通过以下方式利用基于文档的知识：

  • 文档提取 ：处理各种文档格式

  • 分块和嵌入 ：将文本转换为矢量表示

  • 知识检索 ：查找与用户查询相关的信息

图片

数据集管理

数据集结构

数据集是 RAG 知识体系的基本组织单元。每个数据集包含文档，文档被划分为多个段，以便于索引和检索。

图片

数据集创建

为了创建数据集，系统接受包括名称、描述、索引技术和检索配置在内的参数。

POST /datasets

数据集创建工作流程：

  1. 验证参数

  2. 创建数据集记录

  3. 如果使用高质量索引，请配置嵌入模型

  4. 设置检索配置

  5. 设置权限

索引技术

该系统支持两种主要索引技术：

技术

描述

向量数据库

Embedding 模型

用例

high_quality

使用嵌入模型将文本转换为向量

必需

必需

更好的语义理解，处理细微的查询

economy

使用基于关键字的倒排索引

不需要

不需要

更低的资源占用，精准的关键字匹配

文档形式

文档可以以三种不同的形式进行处理和索引：

形式

描述

索引方法

text_model

直接嵌入的默认文本文档

直接嵌入文档内容

qa_model

问答对

生成问答对并嵌入问题

hierarchical_model

 （父子模型）

带有子段的父块

创建具有父块和子块的层次结构

文档处理 Pipeline

文档处理管道遵循提取-转换-加载（ETL）模式：

图片

提取阶段

提取阶段处理不同的数据源：

  1. 上传文件 ：处理上传的文件，如 PDF、DOCX 等。

  2. Notion 导入 ：从 Notion 页面提取内容

  3. 网站抓取 ：从抓取的网站中提取内容

提取过程将不同的内容源规范化为统一的文本文档格式。

转换阶段

转换阶段处理：

  1. 文本清理 ：根据配置的规则删除多余的空格、URL、电子邮件

  2. 分割（Segmentation） ：根据配置的规则将文档分成块

  3. 格式化 ：根据文档形式（文本、问答、分层）准备索引文本

关键分割参数：

  • 分隔符（Separator） ：用于分割文本的字符序列（默认值： \n\n ）

  • 最大令牌数（Max Tokens） ：每个段的最大令牌数（默认值：1024）

  • 块重叠（Chunk Overlap） ：段之间的标记重叠（默认值：50）

加载阶段

  1. 将片段保存到数据库

  2. 为所有文档创建关键字索引

  3. 为了实现高质量索引，生成嵌入并将其存储在向量数据库中

该过程包括：

  • 为段创建数据库记录

  • 使用配置的嵌入模型生成文本嵌入

  • 建立搜索索引（关键字和/或向量）

检索系统

检索系统负责根据用户查询从索引数据集中查找相关信息。

检索方法

系统支持多种检索方式：

方法

描述

要求

优势

语义搜索（Semantic Search）

使用向量相似性来查找语义相关的内容

嵌入模型，向量数据库

最适合基于含义的查询

关键词搜索（Keyword Search）

使用精确关键字匹配

关键词索引

适合精确的术语搜索

全文搜索（Full-Text Search）

使用全文索引技术

全文索引

平衡精度和召回率

混合搜索（Hybrid Search）

结合多种方法

所有索引

最佳整体表现

检索策略

系统支持两种主要的检索策略：

  1. 单一检索（Single Retrieval） ：使用带有 AI 模型的单一数据集来路由查询

  2. 多重检索（Multiple Retrieval） ：使用可配置的权重和评分在多个数据集中进行搜索

图片

结果处理

  1. 格式化为文档上下文

  2. 可能使用重新排序模型进行重新排序

  3. 根据相关性阈值进行评分和过滤

  4. 按相关性排序

  5. 准备返回调用应用程序

与工作流集成

RAG 知识系统通过知识检索节点与 Dify 的工作流系统集成：

图片

知识检索节点：

  1. 从工作流中获取查询输入

  2. 配置检索参数

  3. 调用数据集检索系统

  4. 将格式化的知识返回到工作流

API 集成

服务 API

RAG 知识系统公开了 RESTful API 以与客户端应用程序集成：

接口

Method

描述

/datasets

POST

创建新数据集

/datasets

GET

列出可用数据集

/datasets/{dataset_id}

GET

获取数据集详细信息

/datasets/{dataset_id}

POST

更新数据集设置

/datasets/{dataset_id}

DELETE

删除数据集

/datasets/{dataset_id}/document/create-by-text

POST

从文本创建文档

/datasets/{dataset_id}/document/create-by-file

POST

从文件创建文档

/datasets/{dataset_id}/documents/{document_id}/update-by-text

POST

通过文本更新文档

控制台 API

对于内部控制台使用，存在其他端点：

接口

Method

描述

/console/datasets

多种方式

控制台的数据集管理

/console/datasets/{dataset_id}/documents

多种方式

文档管理

/console/datasets/{dataset_id}/documents/{document_id}/segments

多种方式

段管理

速率限制和配额

该系统实施速率限制和配额执行，特别是在云部署中：

知识检索速率限制

对知识检索操作强制实施速率限制

# Simplified rate limiting logic
knowledge_rate_limit = FeatureService.get_knowledge_rate_limit(tenant_id)
if knowledge_rate_limit.enabled:
    current_time = int(time.time() * 1000)
    key = f"rate_limit_{tenant_id}"
    redis_client.zadd(key, {current_time: current_time})
    redis_client.zremrangebyscore(key, 0, current_time - 60000)
    request_count = redis_client.zcard(key)
    if request_count > knowledge_rate_limit.limit:
        # Add rate limit record and return error

资源限制

对各种资源实施限制：

资源

描述

执行点

向量空间

限制嵌入存储

在文档创建/索引期间

Documents

限制文档数量

文档上传期间

知识率

限制检索频率

在知识检索过程中

总结

RAG 知识系统是 Dify 中用于知识索引和检索的综合解决方案。它提供了灵活的文档处理、索引技术和检索策略选项，使其能够适应各种用例。该系统的模块化架构允许与工作流和对话系统等其他组件无缝集成。

参考资料

https://github.com/langgenius/dify

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

Llama-Turbo
关注
【DeepSeek R1构建本地RAG知识库】Dify调优优化
少说，多做
02-27 1470
在AI技术快速迭代的当下，检索增强生成（RAG）已成为解决大模型幻觉、知识更新滞后等痛点的核心方案。DeepSeek R1作为国产高性能开源大模型，结合Dify这一低代码AI应用开发平台，能够快速搭建安全可控的本地化知识库系统。本文将从零开始，详解如何通过DeepSeek R1实现本地知识检索增强，并借助Dify的灵活配置完成Prompt工程优化、响应质量调优及系统性能提升。
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
丨汀、的博客
08-07 758
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
DeepSeek R1打造本地RAG知识库的AI助手（二）：Dify深度讲解
2401_82469710的博客
02-17 1812
前面我们刚刚讲了AnythingLLM实现的本地知识库大模型应用，对于很多朋友来说都是零代码的，很容易上手，但是功能相对少和不够灵活。
【从零开始学Dify】手把手教你构建AI原生应用
zhz5214的博客
03-18 522
在AI Agent开发领域，Dify正以其独特优势掀起浪潮。作为开源的LLM应用开发平台，它提供了从Agent构建到AI工作流编排、RAG检索、模型管理的全链条支持，相比传统框架更具易用性。现在就登录Dify官网（https://dify.ai），开启你的AI原生应用开发之旅吧！社区提供丰富的教程和技术支持，助你快速从入门到精通。完成初始化配置后，即可进入可视化开发界面。
大模型Dify（Agent + RAG）全解析：一篇文章让你彻底明白！
2401_84204207的博客
03-14 1423
DifyDify 是一个用于构建 AI 应用程序的开源平台。 Dify融合了后端即服务（Backend as Service）和LLMOps理念。它支持多种大型语言模型，如Claude3、OpenAI等，并与多个模型供应商合作，确保开发者能根据需求选择最适合的模型。 Dify通过提供强大的数据集管理功能、可视化的Prompt编排以及应用运营工具，大大降低了AI应用开发的复杂度。Dify一、Dify什么是Dify（Define & Modify）？ Dify是一个开源的大语言模型（LLM）应用开发平台，旨在
热点技术解析：DeepSeek+Dify本地知识库，用户好评如潮！
m0_65555479的博客
03-29 1171
之前我做了个AnythingLLM+DeepSeek去搭建本地知识库的教程，我发现阅读数挺高的，说明大家挺喜欢这个系列。但是我最近又发现 Dify+DeepSeek 去搭建本地知识库才是最牛的，，比德芙还要丝滑~今天这篇文章，纯小白也可以跟着做，不需要有计算机技术基础哦，一起来动手搭建本地最强知识库吧！
打工人必看！零代码用Dify+MiniMax搭建企业知识库【喂饭级教程】
zhishi0000的博客
05-07 695
minimax-01是MiniMax在的（比DeepSeek R1早4天）。参数量没有DeepSeek R1大（），但是实测各方面能力相差不大（性能同样直追GPT-4o和Claude-3.5-Sonnet）最最让我的亮点有原本DeepSeek的API就已经是白菜价了，但是minimax-01的API价格居然比DeepSeek还低（100万tokens仅需1元）。的超长上下文（目前），是Claude-3.5-Sonnet的20倍，GPT-4o的32倍，DeepSeek的62.5倍！
【Dify】RAG开源框架Dify：技术深度剖析与实践指南
后端研发工程师Marion的博客
01-14 2477
Dify作为一个开源的RAG框架，凭借其强大的数据集管理功能、可视化的Prompt编排、高效的RAG管道、灵活的Agent功能以及多种大型语言模型的支持，为开发者提供了一个快速搭建生产级AI应用的平台。无论是对于技术人员还是非技术人员来说，Dify都大大降低了AI应用开发的复杂度，使得更多人能够参与到AI应用的开发和创新中来。未来，随着技术的不断进步和应用场景的不断拓展，Dify有望在人工智能领域发挥更加重要的作用。例如，通过引入更多的自然语言理解和生成技术，Dify可以进一步提升其问答和文本生成的能力。
超实用！用 Ollama + DeepSeek + Dify 搭建本地知识库，提升企业效率
python12345_的博客
03-28 1158
Dify 是一个开源的 LLM（大语言模型）应用开发平台，功能超强大。它支持自定义 AI 工作流，能实现复杂任务自动化；还有 RAG 管道，通过检索增强生成技术，让文档检索和问答超准；多种主流 LLM 模型都能集成管理，还提供丰富的日志和监控功能。Dify 的架构也很清晰，分为模型层、数据处理层、应用层和管理层，能满足各种需求。通过 Ollama + DeepSeek + Dify 这个组合，企业可以轻松搭建本地知识库，提升内部信息管理效率。无论是文档检索、问答系统还是自动化工作流，都能轻松搞定。
一文读懂 RAGFlow 知识库接入 Dify 的全流程
python12222_的博客
04-28 685
今天来给大家分享一下，如何将ragflow知识库接入dify，作为dify的外挂知识库。
使用langchain搭建本地知识库系统(新)
2401_85782938的博客
06-26 1117
RAG是的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM的语料知识库。LLMLangChain是一个用于开发由语言模型驱动的应用程序的框架。具有上下文感知能力：将语言模型与上下文源（提示说明、少量镜头示例、基于其响应的内容等）联系起来。原因：依靠语言模型进行推理（关于如何根据提供的上下文回答，采取什么行动等）py复制代码 import osos.environ["QIANFAN_AK"] = "" # 这里需要修改为自己的实际值。
Dify 零门槛打造专属 AI 应用
xiaoaque的博客
04-24 499
RAG（Retrieval-Augmented Generation）技术是 Dify 的一大特色，它能将检索到的外部知识与语言模型生成的内容相结合，让 AI 的回答更具准确性和丰富度。Dify 拥有直观的可视化界面，开发者无需深入底层代码，只需通过简单的拖拽、配置操作，就能定义应用的 Prompt（提示词）、上下文以及各种插件。Dify 是一个开源的大语言模型（LLM）应用开发平台，它致力于为开发者提供一站式、低代码甚至无代码的 AI 应用开发体验。
RAG应用的典型工作流程
强化学习曾小健
04-19 1346
在总结中，我们看到了 RAG（检索增强生成）系统的快速进步，这包括了能够定制并推动 RAG 在多个领域性能和实用性进一步提高的先进范式的开发。例如，通过适应性增强检索技术(AAR(opens in a new tab))，REPLUG(opens in a new tab)，和UPRISE(opens in a new tab)等方式来实现。这些工具和服务的开发，不仅推动了 RAG 技术的应用范围扩展，也为研究人员和开发者提供了更多的可能性，使他们能够更容易地探索和实现复杂的 RAG 应用。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 719
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
联想推出擎天AI适配中心，智能体部署开启“交钥匙”新模式
weixin_43735236的博客
05-16 535
根据中研普华产业研究院的《2025-2030年中国AI大模型行业竞争格局分析与未来趋势预测报告》分析，2025年中国AI大模型市场规模预计将突破495亿元，大模型技术正在全行业快速演进，其中智能体成为企业AI落地的重要形式，特别是在政务、金融、医疗等对数据可控性要求极高的行业，本地化部署几乎已成共识。面对快速演进的市场环境，ISV常常陷入部署难、适配难、交付慢等难题——擎天AI适配中心的推出，正是为了解决这些关键痛点，帮助开发者在智能体的部署过程中，跳过复杂的搭建过程，专注于业务模型开发与客户交付。
垂直智能体：企业AI落地的正确打开方式
最新发布
chainso23的博客
05-18 524
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
咖啡叶子病害检测数据集VOC+YOLO格式1468张4类别均为单叶子
FL1623863129的博客
05-17 317
标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["Cercospora","Miner","Phoma","Rust"]数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注数量(xml文件个数)：1468。标注数量(txt文件个数)：1468。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 935
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
基于Dify构建RAG知识库
03-11
### 使用Dify框架构建RAG知识库 构建基于检索增强生成（RAG）的知识库涉及多个方面，包括数据收集、索引创建以及模型训练等过程。当采用Dify框架来实现这一目标时，可以遵循特定的方法论。 #### 数据准备与预处理 为了建立有效的RAG系统，在开始阶段需准备好高质量的数据集作为基础。这些数据应该经过清洗和标注以便于后续操作[^1]。 ```python import dify.preprocessing as dp data = [...] # 原始文档集合 cleaned_data = dp.clean_text(data) # 清洗文本去除噪声 annotated_data = dp.annotate(cleaned_data, labels=['knowledge', 'faq']) # 添加标签用于区分不同类型的条目 ``` #### 创建向量索引 利用Dify提供的工具将清理后的文本转换成向量表示形式，并存储在一个高效的搜索引擎中以支持快速查询匹配。 ```python from dify.indexing import VectorIndexer indexer = VectorIndexer() vector_store = indexer.create_index(annotated_data) ``` #### 集成LLM进行推理服务 最后一步是集成大型语言模型(LLMs)，通过调用API接口或者本地部署的方式让其能够访问之前建立好的知识库来进行问答交互或其他自然语言处理任务。 ```python from dify.llm_integration import LLMService llm_service = LLMService(model_name="anything_llm", index=vector_store) response = llm_service.generate_response(question="What is the capital of France?") print(response) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值