90%企业不知道的RAG优化秘籍：Dify原生集成RAGflow

于 2025-05-14 11:38:47 发布
阅读量544 收藏 23
点赞数 25
文章标签： java 开发语言 人工智能 数据库 语言模型 机器学习 eureka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59164520/article/details/147950594
版权

正式开始之前我们还要解决一个小问题，安装好的Dify，忽然就不能加载了。通过分析，应该是我们当时装RAGflow的时候，删除了Docker。这里应该也包含着Dify的docker。

那进入Dify的Docker目录下，执行docker compose up -d, 重新进行加载，然后再访问Dify，这次没有问题了。

image.png

那下面我们正式开始这次的正式介绍了。

RAGflow 添加模型

  1. 首先来创建知识库。

image.png

  1. 首次使用提示我们先添加嵌入模型和LLM。

image.png

  1. 通过配置Siliconflow的API key，添加上模型。

image.png

  1. 设置默认模型，选择硅基内的一个LLM。

image.png

嵌入模型，包括有bge-large-zh/en 1.5, bge-m3, 还包括有网易有道的bce Embedding。

image.png

默认的图像转文字模型，内置的有Janus-pro，有优秀的文本生成图像和多模态理解能力。还有Qwen的QVQ-72B。

image.png

Rerank模型，默认选择bge-reranker-v2-m3即可。

image.png

RAGflow 新增知识库

我们可以看到在添加的知识库中，所需要的配置还是比较多的，我们这里先进行Dify与RAGflow的关联调取。后面再详细的来介绍具体RAGflow的参数配置的含义。

image.png

111.png

图片

图片

有关配置

我们在添加具体的文件，上传我们需要解析的知识库文档。

image.png

上传文件时，可同步进行解析。

image.png

同时提供单个文件解析，同时也提供批量解析

image.png

忘记选择也没有关系，上传后可在进行解析。

image.png

通过观察，发现整体的解析速度不是很快，然后等待了一段时间，发现整体文档的解析进度一点没有变。当时就怀疑肯定是有问题的，我们的文档10M都不到，不应该解析很慢。

在docker中查看运行日志，发现有exception。

image.png

通过日志的查看，发现是无法连接到 Redis 服务，导致任务队列系统崩溃。

image.png

通过查询，docker的状态是up的。应该没有问题。

查看Redis 容器的 IP 地址，将这个地址在配置文件中进行修改。

114.png

修改.env文件，一个是修改HOST，改为本地的IP，还有就是端口和dify的redis冲突了，这里也改为6380。

image.png

修改后，重新将docker重新加载，终于没问题了。

pdf文件的内容形式还是比较复杂的，有文字，有图片，有表格。解析的时间大概2分钟吧，不算很快。

image.png

image.png

*RAGflow API*

在RAGflow的设置中，我们创建一个新的秘钥。

image.png

image.png

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
丨汀、的博客
07-30 3万+
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
Dify vs n8n vs RAGFlow：2025年AI应用与自动化工作流平台的终极对决
丨汀、的博客
04-17 837
Dify vs n8n vs RAGFlow：2025年AI应用与自动化工作流平台的终极对决
Dify vs RAGFlow：如何选择适合你的RAG与低代码AI平台？
最新发布
石榴姐yyds
04-25 995
随着大模型技术在企业场景的落地加速，开发者常面临工具选型难题：是否应该选择低代码平台快速搭建AI应用，还是采用垂直工具实现专业级文档处理？本文聚焦两款热门工具——Dify与RAGFlow，从技术架构、功能特性到应用场景进行全方位对比，为开发者提供选型决策依据。一、工具定位与核心差异1.1 Dify：低代码通用AI应用工厂定位：面向非技术用户的AI应用开发平台，支持快速构建对话机器人、内容生成、数据分析等场景。核心优势：• 低代码/无代码交互：通过可视化界面拖拽编排工作流，无需编码即可调用大模型能力。
本地Deepseek添加个人知识库(Page Assist/AnythingLLM)
jingzilideniu的博客
02-02 3万+
两种建立知识库，投喂Deepseek的方法 本地Deepseek在Page Assist建立知识库 本地Deepseek在Page Assist建立知识库
利用DeepSeek与AnythingLLM搭建本地个人知识库指南
m0_59164520的博客
02-08 3451
今天要介绍的是如何利用DeepSeek来搭建本地个人知识库。依托上一篇所述内容为基础，构建一个本地化的个人知识库系统。这一过程始于安装AnythingLLM——一款强大的工具，它赋予用户能力，利用先进的大型语言模型打造专属的智能知识库及聊天系统。想象一下，教师能轻松转化教学素材、课件为知识宝库，为学生提供定制化的学习辅导与即时答疑；学生则可在探索知识的旅途中，随时向这一智能系统提出疑问，迅速获得详尽解答与指引。首先，访问AnythingLLM官方网站。进行客户端的下载与安装。
AnyThingLLM本地私有知识库搭建
哈士奇是我的信仰~呜哇
01-31 5666
AI大模型+私有化本地知识库 搭建
手把手教你将本地部署的DeepSeek R1集成到Dify
m0_63171455的博客
02-01 6295
今天，手把手教大家在本地部署DeepSeek R1，并将其集成到Dify中，实打实提升你的工作效率！本部分介绍在本地通过ollama部署DeepSeek R1。在ollama官网，选择操作系统，下载ollama应用程序并安装命令行输入ollama，出现下面的提示，则说明安装成功。在ollama官网，点击「Models」，选择第一个「DeepSeek R1」根据自己的显存选择对应的版本大小。推荐GPU：- 7B和16B之类的较小型号，消费者GPU（例如NVIDIA RTX 4090）是合适的。
DeepSeek + AnythingLLM 简单三步搭建个人知识库，现在的我强的可怕！
2301_81940605的博客
02-12 5926
你想过和自己聊天吗？你想通过对话的方式读一本书，或看一篇几万字的论文吗？如果你有以下需求之一：1. 想将自己积累了很久的笔记整合起来，方便自己分析。2. 想建立自己的素材库。3. 你（或你的孩子）想通过对话聊天的方式学习新知识。那么建议你跟着这篇教程，赶紧搭建一套个人知识库，来快速检自己想要的信息。主流的个人知识库软件有 AnythingLLM、Dify、Cherry Studio、MaxKB 等。产品Github 关注数使用方式知识库说明官网地址Dify64.7kweb。
【大模型系列篇】从RAG到Agent：Dify×RAGFlow 如何实现企业级知识库的「认知跃迁」？
木亦汐丫
04-24 798
很早之前我们有使用过Dify来加速AI应用开发和构建企业级智能问答系统，今天我们再来认识下RAGFlow，以及Dify如何外接RAGFlow知识库大脑，提升精准检索能力，告别大模型幻觉问题，完成企业级知识库的认知跃迁。破局大模型知识瓶颈：Dify+RAGFlow的混合检索。
【云馨AI-大模型】RAGFlow功能预览：Dify接入外部知识库RAGFlow指南
起而行动，方能平定心中的惶恐
03-14 1001
开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
Dify外挂RAGFlow的知识库配置操作，实现提高增强检索能力
awei0916的专栏
03-28 2758
在AI应用开发领域，Dify凭借其革命性的可视化编排能力迅速成为低代码开发赛道的领跑者。然而随着企业级用户深入应用，其技术瓶颈逐渐显现：原生检索增强生成（RAG）引擎在处理多模态数据处理、长文本语义理解及高频迭代更新的企业级知识库时，响应质量与效率呈现显著衰减，尤其在应对复杂业务场景下的多轮对话意图捕捉、跨文档关联推理等核心需求时，现有架构暴露出明显的性能天花板。作为开源领域新一代检索增强生成引擎，RAGFlow通过深度文档理解技术重构了多模态数据处理范式。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 756
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
基于Ollama+AnythingLLM搭建本地私有知识库系统
热门推荐
sheex2012的博客
04-30 5万+
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
必看！AnythingLLM+DeepSeek 快速构建私有知识库！
Y525698136的博客
02-12 6039
必看！AnythingLLM+DeepSeek 快速构建私有知识库！
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2934
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
用AnythingLLM和Deepseek搭建个人知识库
沧海之巅的专栏
02-05 1546
用Rag技术搭建一个本地的个人助手，使用的是AnythingLLM+DeepSeek的组合。体验下来，这个只能作为或体验之类的，很难真正实现一个工程性需求。
AI秘籍：让沉睡在硬盘里的资料跑起来吧!AnythingLLM本地知识库搭建教程
m0_70486148的博客
11-05 4550
前言AI本地知识库是指在用户的本地设备上运行的、完全自定义的知识存储与管理系统。相比在线方案，本地知识库将数据完全保存在用户设备中，确保信息安全与隐私，同时提供了高度的控制与灵活性。用户可以将文本、文档、图像等多种数据类型导入其中，并利用AI模型进行高效检索和智能问答。本地知识库特别适合企业内部资料管理、个人学习和项目数据存储，实现更精准的个性化知识管理。想搭建一个完全属于自己的本地知识库，但苦于没有教程？
DeepSeek+AnythingLLM打造自己大模型知识库
iNeuOS工业互联网
02-06 1787
有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库，可以试着让deepseek成为每个角色的助手，例如工艺的、信息化的、设备的、电气的等角色，让deepseek成为自己，再不断的迭代它。deepseek扮演AI助手的角色，应用越来越发挥出来应有的价值。
用AnythingLLM构建专属知识库
wbsu2004的博客
03-11 2万+
AnythingLLM 是可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。
如果改为RAGFlow呢？RAGFlow能否代替dify
04-17
<think>好的，用户现在想了解如何在本地使用RAGFlow建立多个知识库，并对比RAGFlow与Dify的功能差异。首先，我需要回顾之前提供的关于Dify的步骤，然后结合新的引用内容来调整回答，特别是RAGFlow的相关信息。 首先，用户提到RAGFlow支持多种文件格式，包括文档、表格、图片和幻灯片，这说明RAGFlow在处理复杂格式数据方面可能比Dify更强大。引用[1]和[2]提到RAGFlow是基于深度文档理解的开源RAG引擎，适用于企业和个人，这可能意味着它在处理复杂数据时更精准。因此，在回答建立多个知识库的方法时，需要突出RAGFlow的文件处理能力和知识库管理方式。 接下来，引用[3]中的代码示例显示RAGFlow在检索时使用了重排模型和特征工程，这可能意味着其在检索精度上有优势。而Dify的检索方式可能较为简单，如基于PlanningStrategy.ROUTER，这需要在功能对比中强调。 然后，引用[4]提到RAGFlow与Dify的集成流程，特别是RAPTOR策略需要配置大模型，但embedding和rerank模型已经默认配置。这说明RAGFlow在配置上可能更自动化，而Dify需要更多手动设置，这也是功能差异的一部分。 用户之前的问题是关于使用Ollama的DeepSeek模型在本地建立多个知识库，之前的回答详细介绍了Dify的步骤，现在需要转换到RAGFlow。因此，我需要将步骤调整为RAGFlow的具体操作，比如通过RAGFlow的API或界面创建知识库，上传不同数据集，并确保每个知识库独立。 在对比功能差异时，需要从架构设计、文档处理、检索策略、模型配置、部署复杂度等方面展开。例如，RAGFlow的深度文档解析能力支持更多格式，而Dify可能依赖第三方服务；RAGFlow内置了rerank模型，Dify可能需要额外配置；部署上Dify使用Docker而RAGFlow可能有其他依赖等。 需要确保回答结构清晰，分步骤说明RAGFlow的建立方法，然后分点对比两者的差异。同时，要引用提供的引用内容来支持分析，例如引用[3]中的代码对比，引用[4]中的配置差异等。 最后，生成的相关问题需要围绕用户可能关心的监控、跨知识库检索、增量更新等，但要根据RAGFlow的特点调整，比如询问如何处理多知识库的联合检索或RAGFlow的增量更新机制。</think>#### **基于 RAGFlow 的本地多知识库构建方法** --- ### **一、RAGFlow 本地多知识库实现步骤** #### **1. 部署 RAGFlow 环境** - **Docker 部署基础服务** 通过官方镜像快速启动 RAGFlow 核心组件： ```bash docker run -d --name ragflow \ -p 7860:7860 \ -v /path/to/local/data:/app/data \ registry.cn-beijing.aliyuncs.com/infinigence/ragflow:latest ``` 访问 `http://localhost:7860` 完成初始化[^2]。 - **配置模型服务** 在 `settings.yaml` 中指定本地 LLM（如 DeepSeek）接口： ```yaml llm: chat_endpoint: "http://localhost:11434/v1/chat/completions" embedding_endpoint: "http://localhost:11434/v1/embeddings" ``` 支持同时对接多个模型实例[^4]。 #### **2. 创建独立知识库** - **通过 UI 或 API 新建知识库** - **界面操作**：进入 **「知识库管理」** → **「新建知识库」**，命名如 `Finance_KB`，选择解析策略（如 RAPTOR 分层索引）[^1]。 - **API 调用**： ```python import requests # 创建知识库A response = requests.post( "http://localhost:7860/api/v1/knowledge-base", json={"name": "Tech_KB", "parser_type": "hierarchical"} ) kb_id_A = response.json()["id"] ``` 重复操作生成 `kb_id_B` 等。 - **上传多格式数据** 支持批量上传混合格式文件到指定知识库： ```bash curl -X POST "http://localhost:7860/api/v1/knowledge-base/{kb_id}/upload" \ -F "files=@financial_report.pdf" \ -F "files=@tech_specs.xlsx" ``` 系统自动解析文本、表格及图片内容[^1]。 #### **3. 多知识库联合检索** - **单知识库定向查询** 在请求中明确指定 `knowledge_base_ids`： ```python response = requests.post( "http://localhost:7860/api/v1/chat", json={ "question": "2023年Q4毛利率变化趋势", "knowledge_base_ids": ["kb_id_A"], "rerank": True # 启用重排模型优化结果 } ) ``` - **跨知识库融合检索** 同时调用多个知识库，自动合并检索结果： ```python response = requests.post( "http://localhost:7860/api/v1/chat", json={ "question": "对比金融报表与技术文档中的风险描述", "knowledge_base_ids": ["kb_id_A", "kb_id_B"], "fusion_strategy": "weighted" # 支持加权/去重等策略 } ) ``` --- ### **二、RAGFlow 与 Dify 功能对比分析** | **维度** | **RAGFlow** | **Dify** | |------------------|------------------------------------------|---------------------------------------| | **核心架构** | 深度文档解析引擎 + RAG 工作流 | 通用 LLM 应用开发平台 | | **文档处理** | 原生支持 PDF/表格/图片混合解析[^1] | 依赖第三方解析服务，格式兼容性较弱 | | **检索策略** | 内置 RAPTOR 分层索引、重排模型[^3] | 基于简单向量检索，需手动优化检索逻辑 | | **多知识库管理** | 支持联合检索与策略融合 | 仅限单知识库绑定，跨库需自行实现 | | **模型配置** | 预置 Embedding/Rerank 模型，开箱即用 | 需独立配置 Embedding 服务及模型参数 | | **部署复杂度** | 需处理 OCR 等依赖项 | Docker 一键部署，依赖较少 | #### **关键差异说明** 1. **文档理解深度** RAGFlow 通过**结构化特征提取引擎**（如表格单元格定位、图片文字关联分析）实现高精度解析，而 Dify 主要依赖通用文本提取。例如解析 PDF 表格时，RAGFlow 可保留行列关系，Dify 可能输出无序文本。 2. **检索优化能力** RAGFlow 在检索链路中集成**重排模型**与**特征工程**（如 `rank_feature=label_question(...)`[^3]），可直接优化结果相关性；Dify 需通过插件或自定义代码实现类似功能。 3. **多知识库协同** RAGFlow 支持**动态权重分配**（如金融知识库权重 0.7，技术库权重 0.3），而 Dify 需通过 API 编排手动合并多个知识库响应。 --- ### **三、实践建议** 1. **场景选择** - 选择 **RAGFlow**：需处理复杂格式数据、要求精确引用来源、需要开箱即用的检索优化。 - 选择 **Dify**：快速构建轻量级问答应用、侧重工作流可视化编排。 2. **性能调优** - RAGFlow 调整 `chunk_size` 和 `overlap` 参数平衡解析粒度与检索速度。 - Dify 可通过 `dataset_retrieval.single_retrieve(planning_strategy=...)`[^3] 实现路由策略优化。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值