一文详解用RAGFlow + Dify搭建高质量AI问数应用

最新推荐文章于 2025-05-06 16:26:19 发布
最新推荐文章于 2025-05-06 16:26:19 发布
阅读量932 收藏 29
点赞数 16
文章标签： 人工智能 LLMs transformer 大模型应用 大模型教程 RAGFlow Dify
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/147142758
版权

如何让业务人员摆脱SQL，直接用自然语言获取数据？本文分享一个实用案例：结合RAGFlow与Dify两大开源工具，构建高质量的AI问数应用。

前言

经过3天的验证测试，我发现RAGFlow与Dify产品组合在生成AI问数质量方面展现出了强大潜力。虽然存在一些不足，但RAGFlow成功填补了Dify知识库应用的短板，形成了一个高效互补的解决方案。

从整体逻辑构建来看：

  • Dify：擅长快速构建MVP产品原型，其插件系统和自定义工具使构建AI应用变得简单高效

  • RAGFlow：贡献两个关键能力： ①提供高质量知识库数据源；②通过NL2SQL功能作为AI问数的专业Agent

整体流程

整体架构图

整体架构图

RAGFlow+Dify实际效果展示

从实际效果来看，这一组合实现的Agent逻辑非常符合预期，能够很好地完成多表关联查询等复杂任务：

1. Agent整体呈现结果

系统结构图

Agent整体呈现结果

2. 复杂分析型查询支持

系统能够理解并处理复杂的分析型查询语句，生成准确的SQL查询并返回有价值的结果：

分析型查询示例1

分析型查询示例1

分析型查询示例2

分析型查询示例2

3. 三段式结果呈现

系统采用了清晰的三段式呈现方式，提升用户体验：

  • ① 首先展示SQL查询语句

  • ② 然后展示数据结果

  • ③ 最后提供总结分析

结果呈现示例

结果呈现示例

★

小贴士：这种呈现方式让技术人员能够验证SQL正确性，同时也让业务人员直接看到结论，兼顾了不同用户需求。

实现步骤详解

整个实现过程分为几个关键步骤，下面详细说明：

1. Agent的设计架构

Agent作为整个系统的核心能力引擎，分为四个主要部分：

1.1 Agent提示词设计

明确定义Agent的身份定位和工作方法，通过精心设计的提示词引导AI生成高质量查询：

Agent提示词设计

Agent提示词设计

★

关键点：好的提示词设计是高质量SQL生成的基础，需要明确告诉模型应该如何理解数据结构和生成查询。

1.2 知识库接入

系统采用RAGFlow提供的外部知识库，实现步骤如下：

第一步：引入外部知识库API

引入外部知识库API

引入外部知识库API

第二步：接入RAG知识库

接入RAG知识库

接入RAG知识库

1.3 工作流工具集成

Dify将工作流转化为可调用工具，使Agent能够实现自然语言查询：

第一步：构建工作流

构建工作流

构建工作流

第二步：将工作流发布为工具

由于Agent只能通过Function Calling调用工具，需要将工作流发布为可调用的工具：

发布为工具

发布为工具

第三步：优化工具描述

工具描述需要精心设计，帮助LLM准确理解工具功能并正确触发调用：

优化工具描述

优化工具描述

★

实用技巧：工具描述是给LLM看的，而非给人看的，需要包含足够信息让模型理解何时以及如何调用该工具。

1.4 RAGFlow Agent集成

将RAGFlow的Agent作为工作流的核心环节，负责高质量SQL生成。RAGFlow Agent接口包含两个部分：

第一步：创建Agent会话

创建Agent会话

创建Agent会话

第二步：与Agent交互

与Agent交互

与Agent交互

2. 自定义API接口开发

为有效管理RAGFlow Agent会话，开发了一个自定义FastAPI接口，实现以下功能：

  • 会话管理：确保Dify Agent与RAGFlow Agent会话保持同步，保留上下文记忆

  • 对话交互：通过会话与RAGFlow Agent进行对话并获取回复

自定义API接口

自定义API接口

★

注意：当前实现仅支持单会话对接RAGFlow Agent，多会话支持需要额外开发。

3. 接口注册与集成

将自定义接口注册到系统中，遵循OpenAPI 3.0规范：

接口注册

接口注册

★

技术提示：可以让LLM协助生成OpenAPI 3.0规范的接口描述文档，提高开发效率。

4. RAGFlow Agent知识库设计

RAGFlow Agent的核心优势在于其高质量知识库，这也是保证SQL生成质量的关键因素。优质的知识库能提供准确的上下文信息，而低质量的知识库则可能导致误导和错误的SQL生成：

知识库设计

知识库设计

结语

本文简要介绍了RAGFlow与Dify结合实现AI问数的验证方案。限于篇幅，无法详尽展示所有技术细节，有兴趣的读者可通过私信交流，我将尽可能整理更多细节到飞书文档中。

值得注意的是，AI问数仅解决了业务人员的基础取数需求，但业务分析还需要更进一步。未来的发展方向是基于数据指标完成归因分析，包括：

  • ✅ 建立归因链路中各指标对应的业务脉络知识库

  • ✅ 明确各指标的计算方法

  • ✅ 调度Agent进行指标数据检索

  • ✅ 完成数据结果的归因诊断

归因分析是一个需要大量企业个性化定制的知识库工程，但方法论是相通的。

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

2024年12月数据月报
SmartSi
01-04 1715
2024年12月大数据月报，为您准备了阿里、字节、百度等大厂150多篇实践案例
2024年10月数据月报
SmartSi
11-02 1578
2024年10月数据月报，为您准备了阿里、字节、百度等大厂160多篇实践案例
自然语言处理:第九十九章 私有化RAG封神组合：Dify+RagFlow知识库
victor_manches的博客
03-19 1202
我的解决方案是修改ragflow的默认端口，可以参考我的ragflow配置（如下：在docker-compose.yml里面把ragflow映射到主机的端口改掉，改成容器的80端口映射到主机的8000端口，433端口映射到主机的4333端口）PS：由于我的dify和ragflow都部署在同一个主机的docker中，所以dify可以通过主机的内网ip访问ragflow的知识库。首先我们需要解决一个问题，就是在本地的ragflow和dify的页面默认的访问端口是有冲突的（用的都是80和443端口）。
Dify 通过 API 调用 RAGFlow 外部知识库
NLP工程化
11-16 7837
本文使用 Dify v0.10.0+ 和 RAGFlow v0.12.0+ 版本（源码运行）。Dify 中的 RAG 一直被诟病，现在 Dify 提供了外部知识库 API，这样就可以连接到 Dify 之外的知识库并从中检索知识。第一个问题是 API 规范，包括接口格式、输入和输出参数等。第二个问题是哪些外部知识库支持该 API 呢？理论上讲只要支持 API 规范都是可行的。
大模型Dify案例分享-知识库检索整合Ragflow
python1234567_的博客
03-10 2411
​ 关于ragflow 安装比较复杂，大家可以去开源github上查看它的安装，本次就不带大家安装了。​ 项目开源地址：https://github.com/infiniflow/ragflow​ 项目文档: https://ragflow.io/docs/dev/​ 目前这个项目用到的组件比较多，用到Elasticsearch、Kibana、MySQL、MinIO、Redis、RAGFlow等，大家可以参考官方文档部署好应用程序。​ 这里我们需要注意的几点。
AI王炸：MCP服务端客户端的完整实现
2401_85375151的博客
04-19 729
试想一下，如果要想在现有应用上构建，让AI读取引用我们功能和数据，该怎么办，比如询问某个城市的天气，我们希望AI能调用天气函数返回相应结果，这时(Model Context Protocol)就可以派上用场了，它相当于我们电脑的USB-C接口，提供了一个标准方式让AI模型连接不同的应用和工具。我们可以建一个MUP Server来处理这类业务，比如市面上已有各类MUP Server，比较典型的高德地图MCP，除此之外，还有旅行交通的，提供房源问询，版本控制的，工具类mcp-openai，开发类等。
一文读懂 RAGFlow 知识库接入 Dify 的全流程
apo0625的博客
03-19 2309
今天来给大家分享一下，如何将ragflow知识库接入dify，作为dify的外挂知识库。
RAGFlow和Dify对比
寓教于乐。教己助人
02-13 8538
RAGFlow和Dify都是基于大语言模型（LLM）的应用开发平台，分别专注于深度文档理解与检索增强生成（RAG）和LLM应用开发。RAGFlow以其深度文档解析能力和无幻觉生成著称，而Dify则以其灵活的工作流编排和全面的模型支持见长。以下从多个维度对两者进行详细对比。RAGFlow更适合需要深度文档解析和无幻觉生成的企业，尤其是处理复杂格式文档的场景。Dify更适合需要灵活工作流编排和多模型集成的开发者，尤其是构建复杂AI应用的场景。
Dify与RAGFlow结合：智能应用开发与深度文档理解的优化
热门推荐
全世界的博客
07-01 1万+
RAGFlow是一个专为深度文档理解和检索增强生成而设计的引擎，它结合了预训练的大型语言模型（LLMs）和高效的检索技术，为用户提供了一个强大的工具来处理复杂的问题和场景。RAGFlow的核心优势在于其混合检索能力，它能够从大规模知识库中检索相关文档，然后将这些信息与模型的生成能力相结合，生成更准确、更全面的答案。这种混合方法特别适用于处理需要深度理解和综合多个信息源的问题，如智能客服、搜索引擎和知识库应用。RAGFlow的工作流程包括两个主要部分：检索和生成。
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 1477
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
Dify案例解析：如何高效整合知识库与Ragflow？
2401_84204413的博客
03-06 3672
关于ragflow 安装比较复杂，大家可以去开源github上查看它的安装，本次就不带大家安装了。项目开源地址：https://github.com/infiniflow/ragflow项目文档: https://ragflow.io/docs/dev/目前这个项目用到的组件比较多，用到Elasticsearch、Kibana、MySQL、MinIO、Redis、RAGFlow等，大家可以参考官方文档部署好应用程序。这里我们需要注意的几点。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2620
TensorFlow相关组件的安装
AI 驱动下的智能问数，将BI嵌入到聊天中
xx_nm98的博客
02-24 2089
在数字化浪潮席卷全球的当下，数据已然成为企业的核心资产。从海量的业务数据中快速提取有价值信息，并以直观易懂的方式呈现，成为企业在激烈市场竞争中脱颖而出的关键。与此同时，高效的信息传递机制犹如企业的神经脉络，确保各项指令与数据能够及时、准确地抵达每一个 “细胞”。过往，传统的数据获取与展示方式极为不便，效率低，成本高。而如今，随着技术的飞跃，通过 Dify 工作流与智能助理，融合 AI 技术的创新功能横空出世。这一变革性的方案，彻底颠覆传统模式，用户只需向智能助理简单描述需求，就能迅速获取对应数据。
NLP算法具备技能
qq_41359817的博客
12-03 1332
摘要：好久不看理论，最近把自己学过以及用到过的东西都列了出来，主要是这个大纲体系，详细的内容部分是使用LLM来辅助编写的。 一、大模型 1.1 常用大模型 1.1.1 Qwen   ‌Qwen大模型‌是由阿里巴巴开发的系列大语言模型，最早在2023年8月开源，参数规模从18亿到720亿不等。Qwen系列模型包括基础模型和对话模型，基础模型涵盖多语言数据，对话模型则具备多种能力，如聊天、创作、摘要、信息抽取、翻译、代码生成和数学推理等‌。   Qwen系列模型的参数规模包括18亿（1.8B）、70亿（7B）
DeepSeek 部署指南：常见问题及解决方案
最新发布
爱学习的小码农
05-06 736
基础模型系列，提供通用AI能力：特化模型系列，专注于推理和编程能力DeepSeek-R1系列覆盖了从1.5B到671B参数量的多个版本，旨在根据参数规模、计算资源以及推理需求，为不同任务和硬件配置提供优化解决方案[34DeepSeek作为中国自主研发的先进AI模型，在数学、代码和自然语言推理等任务上表现出色。通过本报告提供的部署指南，您可以根据实际需求选择合适的部署方法，从简单的Ollama本地部署到复杂的分布式企业级部署。
手把手教你:Windows与Linux下Dify+DeepSeek实现ragflow构建企业知识库
weixin_37991383的博客
02-25 2940
手把手教你：Windows与Linux下Dify+Ollama+DeepSeek搭建企业知识库教程
【开源】Dify+RAGFlow强强联合：知识库精准度飙升，PDF表格秒变结构化数据！
m0_59235945的博客
03-24 1353
RAGFlow可解析PDF、扫描件、表格等复杂格式，自动识别布局并提取结构化数据，弥补Dify原生解析短板。通过多路召回、重排序优化策略，RAGFlow显著提升答案准确性。例如，扫描版PDF表格的解析完整度提升40%以上。Dify支持向量检索、全文检索、混合检索（推荐），结合RAGFlow的API调用，实现“非结构化数据+语义匹配”的双重优势。- 克隆源码并启动Docker容器（需CPU≥4核、内存≥16GB）。- 记录RAGFlow的API地址（如）和API Key。- 修改.env。
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2931
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
dify案例分享-知识库检索整合Ragflow
Python_cocola的博客
03-06 3030
关于ragflow 安装比较复杂，大家可以去开源github上查看它的安装，本次就不带大家安装了。项目开源地址：https://github.com/infiniflow/ragflow项目文档: https://ragflow.io/docs/dev/目前这个项目用到的组件比较多，用到Elasticsearch、Kibana、MySQL、MinIO、Redis、RAGFlow等，大家可以参考官方文档部署好应用程序。这里我们需要注意的几点。
dify rag
03-12
<think>好的，我现在需要回答用户关于Dify RAG的问题。首先，我需要明确用户的问题是什么。用户提到“dify rag”，可能是在询问Dify平台中的RAG（检索增强生成）技术是如何工作的，或者它的应用场景、优势等。用户还提供了两个参考链接，我需要结合这些资料来构建回答。 首先，我应该回顾一下RAG的基本概念。RAG结合了检索和生成两个步骤，通过从外部知识库中检索相关信息来增强生成模型的结果，使其更准确和可靠。在Dify中，RAG被整合到知识库功能中，用于提升生成式AI应用的表现。 接下来，我需要确定Dify RAG的具体实现机制。根据提供的参考资料，Dify的RAG流程可能包括知识库构建、检索策略、信息增强生成这几个步骤。知识库可能支持多种格式的数据，比如文本、PDF等，并通过嵌入模型将文档转化为向量存储。检索时，用户的查询也会被向量化，通过相似度匹配找到相关文档片段，然后这些片段作为上下文输入到生成模型中，比如LLM，生成最终回答。 然后，我需要考虑用户可能关心的方面，比如Dify RAG的优势、应用场景、优化方法等。优势可能包括提升生成内容的准确性，减少模型幻觉，支持动态更新知识库。应用场景可能涉及客服、知识问答系统、内容生成等需要实时准确信息的领域。优化方法可能涉及检索策略的调整，比如调整top-k参数，使用混合检索（结合关键词和向量搜索），或者优化知识库的结构。 用户可能还会想知道如何在自己的项目中使用Dify的RAG功能，可能需要简要说明操作步骤，比如创建知识库、上传文档、配置检索参数等。不过根据用户提供的参考链接，可能不需要详细的操作指南，而是更侧重原理和结构。 另外，需要确保回答符合用户给出的格式要求，比如使用中文，行内公式用$...$，独立公式用$$...$$，但根据当前问题，可能涉及数学公式的地方不多。不过如果有提到相关算法，比如向量相似度计算，可能需要用到内联公式，比如余弦相似度公式$ \cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|} $。 还需要生成相关问题，这部分需要根据回答内容提出几个相关的问题，比如Dify RAG的技术原理、优化方法、应用场景等。 需要确保回答引用参考链接，在适当的位置添加引用标识，例如在提到Dify中的RAG和知识库时引用[^1]，在检索增强生成的概念时引用[^2]。 现在组织回答结构：首先概述Dify RAG，然后分点讲解核心机制、优势、应用场景，接着给出示例代码或配置片段（如果有的话），最后生成相关问题。 检查是否有遗漏的部分，比如是否提到了知识库构建、检索策略、生成整合等步骤。确保每个部分都简明扼要，符合用户要求的清晰结构。 最后，生成的相关问题需要与Dify RAG相关，可能包括技术细节、优化、应用案例、与其他RAG系统的比较等。</think>### Dify中的RAG（检索增强生成）技术解析 Dify通过整合**检索增强生成（RAG）**技术，将外部知识库与生成式AI结合，显著提升模型输出的准确性和可靠性。以下是其核心机制： #### 1. **知识库构建与向量化** - Dify支持上传多种格式文档（如PDF、文本），并通过嵌入模型（如OpenAI的text-embedding-ada-002）将内容转化为向量$ \mathbf{v} \in \mathbb{R}^d $，存储至向量数据库。 - 文档分块策略采用滑动窗口（例如512 tokens）结合语义分割，平衡检索效率与上下文完整性。 #### 2. **混合检索策略** - **向量检索**：计算查询向量与知识库向量的余弦相似度$ \cos(\theta) = \frac{\mathbf{q} \cdot \mathbf{v}}{|\mathbf{q}| |\mathbf{v}|} $，返回Top-K相关片段。 - **关键词增强**：结合BM25算法补充传统关键词匹配，缓解语义鸿沟问题。 #### 3. **生成阶段优化** - 检索结果通过Prompt模板注入LLM上下文，例如： ```text 根据以下知识回答问题： [检索片段1] [检索片段2] 问题：{用户输入} ``` - 支持调整**温度（temperature）**参数控制生成多样性，默认0.7平衡准确性与创造性。 #### 4. **动态知识更新** - 知识库支持增量更新，新文档触发自动向量化与索引重建（如FAISS或Milvus），保障信息时效性。 #### 优势对比 | 特性 | 传统生成模型 | Dify RAG | |--------------------|-------------------|-----------------------| | 知识时效性 | 固定训练数据 | 支持动态更新 | | 事实准确性 | 易产生幻觉 | 基于检索结果约束 | | 领域适应性 | 需微调模型 | 仅需更新知识库 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值