一文读懂RAGFlow：从 0 到 1教你搭建RAG知识库

最新推荐文章于 2025-04-01 10:27:32 发布
最新推荐文章于 2025-04-01 10:27:32 发布
阅读量6k 收藏 34
点赞数 30
文章标签： 人工智能 自然语言处理 AI大模型 知识库 RAG RAGFlow LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python12345_/article/details/145872454
版权

一文读懂RAGFlow：手把手教你搭建RAG知识库

引言

最近随着Deepseek的火爆，如何高效地整合海量数据与生成式模型成为了技术领域内的一大热点。传统的生成模型在回答复杂问题时常常依赖于预训练数据的广度与深度，而检索增强生成（Retrieval-Augmented Generation，简称RAG）则有效结合了检索与生成的优势，为各类应用场景提供了更为灵活、高效的解决方案。

RAGFlow概述

RAGFlow的定义

RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。

在实际应用中，RAGFlow能够在客户服务、问答系统、智能搜索、内容推荐等领域发挥重要作用，通过检索与生成的双重保障，显著提升系统的响应速度和准确性。

特点

  • • 高效整合海量数据：借助先进的检索算法，系统能够在大数据中迅速找到相关信息，并将之用于生成回答。
  • • 增强生成质量：通过引入外部数据，生成模块能够克服模型记忆限制，提供更为丰富和准确的信息。
  • • 应用场景广泛：包括但不限于在线问答系统、智能客服、知识库问答、个性化推荐等。

RAGFlow应用场景

在在线客服系统中，RAGFlow能够利用用户的历史咨询记录、产品文档以及FAQ等数据，实时检索出最相关的信息，并通过生成模块整合成自然、连贯的回复，从而大幅提升客户满意度。

RAGFlow系统架构

317212466-d6ac5664-c237-4200-a7c2-a4a00691b485

环境准备与系统搭建

环境需求

在搭建RAGFlow系统前，需要确保开发与运行环境满足以下要求：

  • • 硬件配置：建议采用多核CPU、充足内存（16GB及以上）以及支持高并发访问的存储设备；如需部署大规模检索服务，可考虑使用分布式存储集群。
  • • 操作系统：推荐使用Linux发行版（如CentOS、Ubuntu）以便于Shell脚本自动化管理；同时也支持Windows环境，但在部署自动化脚本时可能需要适当调整。
  • • 开发语言与工具：主要使用Java进行系统核心模块开发，同时结合Shell脚本实现自动化运维。
  • • 依赖环境：需要安装Java 8及以上版本，同时配置Maven或Gradle进行依赖管理；对于数据检索部分，可采用ElasticSearch、Apache Solr等开源检索引擎；生成模块则依赖于预训练模型，可以借助TensorFlow或PyTorch进行实现。

服务器配置

  • • CPU >= 4 核
  • • RAM >= 16 GB
  • • Disk >= 50 GB
  • • Docker >= 24.0.0 & Docker Compose >= v2.26.1

安装

修改 max_map_count

确保 vm.max_map_count 不小于 262144

如需确认 vm.max_map_count 的大小：

$ sysctl vm.max_map_count

如果 vm.max_map_count 的值小于 262144，可以进行重置：

# 这里我们设为 262144:
$ sudo sysctl -w vm.max_map_count=262144

你的改动会在下次系统重启时被重置。如果希望做永久改动，还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍：

vm.max_map_count=262144
下载仓库代码
git clone https://github.com/infiniflow/ragflow.git
Docker拉取镜像

修改镜像为国内镜像并且选择embedding版本

修改文件docker/.env/

默认配置为：RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim

修改为国内镜像：RAGFLOW_IMAGE=registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow:v0.16.0

RAGFlow image tagImage size (GB)Has embedding models?Stable?
v0.16.0≈9✔️Stable release
v0.16.0-slim≈2❌Stable release
nightly≈9✔️Unstable nightly build
nightly-slim≈2❌Unstable nightly build

运行命令拉取镜像

docker compose -f docker/docker-compose.yml up -d

image-20250218134526193查看日志

docker logs -f ragflow-server

提示下面提示说明启动成功

     ____   ___    ______ ______ __
    / __ \ /   |  / ____// ____// /____  _      __
   / /_/ // /| | / / __ / /_   / // __ \| | /| / /
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
 /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

访问IP，进入 RAGFlow，注意不是 9380 端口，Web是http://127.0.01默认为 80 端口

image-20250218135456390

应用

注册账号

image-20250218135625403

注册完直接登录

image-20250218135717184

添加模型

本文用到的模型类型：Chat 和 Embedding。 Rerank 模型等后续在详细介绍。

点击右上角->模型提供商->添加模型

image-20250219161523490

填写模型信息，模型类型选 chat

image-20250219161441642

再添加一个 Embedding 模型用于知识库的向量转换（RAGFlow 默认也有 Embedding）

image-20250219161827675

在系统模型设置中配置聊天模型和嵌入模型为我们刚刚添加的模型

image-20250219163114721

创建知识库

image-20250219162148401

填写相关配置

  • • 文档语言：中文
  • • 嵌入模型：选择我们自己运行的bge-m3:latest,也可以用默认的。具体效果大家自行评估

image-20250219162457976

上传文件

这里我自己造了一个测试文档来验证知识库，内容是编的，介绍一个 ABCD 工具，文档在文末提供下载。

image-20250219162616449

image-20250219162528361

文件上传后是未解析状态，需要解析才可以使用，点击解析

image-20250219162738069

解析成功后点击文件可以看到解析效果

image-20250219162906257

效果

image-20250219162931748

创建聊天

image-20250219163339314

设置模型。token 调整大一些

image-20250219163408611

验证效果

问题一：直接发送 ABCD

知识库回答

image-20250219163519619

原文档

image-20250219163648682

问题二：ABCD 错误代码有哪些

知识库回答

image-20250219164100751

原文档

image-20250219164043103

问题三：ABCD 支持哪些系统

知识库回答

image-20250219164230807

原文档

image-20250219164256131

问题四：ABCD 官网

知识库回答

image-20250219164944000

你也可以在回答的结果看到他引用的知识库

image-20250219165026381

原文档

image-20250219165057019

总结

本文介绍了 RAGFlow 的基础使用方法，从演示效果来看尚可。然而，在实际应用场景中，各类文件格式与结构各不相同，文件解析成为一大难题。一旦解析不准确，即便使用性能强劲的 Deepseek-R1 大模型（经亲测），也会出现分析错误的情况。因此，在 RAG 过程中，文件解析、Embedding 以及 LLM 是提升准确率的三大关键攻克点。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

大模型RAG知识库使用案例：ragflow、maxkb
weixin_42357472的博客
04-18 3456
支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。注意：Docker >= 24.0.0 & Docker Compose >= v2.26.1。5、ip+端口（我这里8082）进入前端页面，需要注册账号才能进入，随便注册即可。1、如果启动时候端口冲突，可以自己进入yml进行修改端口。3、运行docker compose。这里也可以提前默认设置好相关模型。7、聊天（选择知识库与模型）6、进入后可以设置添加模型。
RAG 实践- Ollama+RagFlow 部署本地知识库
AGI_GGbond的博客
10-28 3125
本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是Qwen2
万字详解｜基于RAGFlow框架搭建企业知识库指南
Z4400840的博客
03-31 1609
在生成式人工智能（Generative AI）快速发展的当下，大语言模型（LLMs）的幻觉问题始终是制约其落地应用的关键瓶颈。检索增强生成（RAG）技术通过引入外部知识库，将动态检索与生成能力结合，为解决这一难题提供了重要思路。
使用RAGFlow搭建知识库
810cheng
03-10 1296
ragflow搭建企业知识库
RagFlow搭建私有化知识库
weixin_43008312的博客
12-23 1868
♥♥♥知识库、无幻觉聊天和文件管理是RAGFlow的三大支柱。RAGFlow的AI聊天基于知识库。RAGFlow的每个知识库都作为知识源，将从本地机器上传的文件和文件管理中生成的文件引用解析为未来AI聊天的真正“知识”。
快速搭建专业AI知识库的开源工具:Ragflow
m0_59163425的博客
02-04 2002
在大模型应用的蓬勃发展中，检索增强生成（Retrieval-Augmented Generation，RAG）技术占据了举足轻重的地位。它就像是大模型的智慧助手，通过从外部知识库中检索相关信息，并将其融入到大模型的回答生成过程中，有效提升了大模型回答的准确性、可靠性和时效性，在问答系统、智能客服、文档摘要等多个领域都发挥着关键作用。上图是一个常见的AI应用的数据流向图，文档分块之后向量化存储到向量数据库，然后输入文本内容，形成prompt，从向量数据库检索相关的知识背景，发送给LLM之后，返回结果。
基于 Ragflow 搭建知识库-初步实践
qq1164014750
12-28 5722
Ragflow 是一个强大的工具，可用于构建知识库，实现高效的知识检索和查询功能。本文介绍如何利用 Ragflow 搭建知识库，包括环境准备、安装步骤、配置过程以及基本使用方法。
Burpsuite 指纹特征绕过
Javachichi的博客
12-05 3135
需要高版本 17 + 的 burp 运行插件，可 bypass 网站流量设备的检测，正常抓包。未使用插件前，burp 指纹特征被识别，抓包被拦截。
基于DeepSeek的本地化知识库 RAGFlow 搭建(附带镜像链接)
2401_85327249的博客
02-22 2228
DeepSeek部署完后，除了正常的聊天使用，实际上更想基于它做一些更符合预期的事情，比如基于某些事实或者数据，能给我推理出来相关的结果或者尽量限制在某一部分进行回答，这个比较突出的表现方式就是知识库，其中，最新最新出来的开源 RAGFlow 很不错，这就部署出来瞅一下。
RAG-基于Java实现的增强检索生成RAG项目-包含知识库+检索-附项目源码+流程教程-优质项目实战
10-20
从应用层面来看，RAG项目可以被应用于多种场景，如企业内部的知识管理系统、在线问答平台、客户服务系统等，它能够帮助用户快速找到他们需要的信息，从而提高工作效率和客户满意度。 本项目不仅是一个技术实现的...
基于RAG的私有知识库问答系统python源码+文档说明（毕业设计）
11-08
基于RAG的私有知识库问答系统python源码+文档说明（毕业设计）基于RAG的私有知识库问答系统python源码+文档说明（毕业设计）基于RAG的私有知识库问答系统python源码+文档说明（毕业设计）基于RAG的私有知识库问答...
RAG-基于LangChain+ChatGLM-6B+本地知识库搭建的RAG智能问答系统-附项目源码+流程教程-优质项目实战
10-20
结合本地知识库，RAG模型在检索阶段可以从知识库中查询相关信息，以增强生成模型对问题的理解，从而生成更为准确和丰富的答案。 本项目的特色在于将RAG模型、LangChain工具包以及ChatGLM-6B语言模型与本地知识库相...
DeepSeek+Ragflow搭建个人知识库
m0_63171455的博客
02-14 5702
利用Deepseek+Ragflow搭建的知识库过程还是比较简单，正常跟着流程走不容易出错。如果投喂的数据经过整合处理，那么反馈的结果还是有一定的实际意义。当前个人能部署的模型参数太少，尚处于体验阶段。相信不久的将来，大模型不断发展，个人能部署性能更强大的模型。
2025最全RAGFlow搭建指南：一篇搞定所有技术细节
最新发布
2301_82275412的博客
04-01 2246
RAGFlow是一个基于检索增强生成（Retrieval-Augmented Generation，简称RAG）的框架，它结合了检索（Retrieval）和生成（Generation）两个关键的自然语言处理技术。为我们提供了一种强大的方式来处理复杂的自然语言处理任务，它能够生成更加准确、丰富和相关的结果。
RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_84495872的博客
06-12 1907
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
【干货】带你一步步搭建RAGFlow
热门推荐
m0_59235245的博客
09-09 2万+
上星期给各位同学介绍了RAGFlow这个大模型RAG引擎，本篇给大家介绍一下RAGFlow的本地搭建，以下过程基于Ubuntu24，其它Linux系统的搭建方法也基本相同。先来温补一下，RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出。
RAG与知识库搭建，手把手教你构建RAG系统
qkh1234567的博客
11-13 3973
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
java如何给ragflow传递数据
02-19
### Java 中向 RAGFlow 传递数据 为了实现从 Java 应用程序到 RAGFlow 工作流的数据传输，可以采用 RESTful Web Service 或者 gRPC 这样的远程过程调用协议。这两种方法都允许跨平台通信，并且能够很好地集成现代微服务架构。 #### 使用 RESTful API 方式 RESTful API 是一种广泛使用的网络应用程序编程接口设计风格。对于 Java 来说，可以通过构建一个 HTTP 请求来发送 JSON 数据给 RAGFlow 服务器端点。下面是一个简单的例子： ```java import okhttp3.*; public class RagflowClient { private static final String BASE_URL = "http://localhost:8080/api/v1/ragflow"; public void sendData(String query, List<String> documents) throws IOException { OkHttpClient client = new OkHttpClient(); JSONObject jsonBody = new JSONObject(); jsonBody.put("query", query); JSONArray docsArray = new JSONArray(documents); jsonBody.put("documents", docsArray); RequestBody body = RequestBody.create( MediaType.parse("application/json; charset=utf-8"), jsonBody.toString() ); Request request = new Request.Builder() .url(BASE_URL) .post(body) .build(); try (Response response = client.newCall(request).execute()) { if (!response.isSuccessful()) throw new RuntimeException("Unexpected code " + response); System.out.println(response.body().string()); } } } ``` 这段代码展示了如何创建一个 `OkHttp` 客户端实例并向指定 URL 发送 POST 请求，其中包含了查询字符串和文档列表作为请求体的一部分[^1]。 #### 使用 gRPC 协议方式 gRPC 提供了一个更高效的二进制序列化方案和服务发现机制。如果性能至关重要，则推荐使用这种方式来进行客户端与 RAGFlow 之间的交互。首先需要定义 `.proto` 文件描述消息结构和服务契约；接着利用 Protocol Buffers 编译器生成相应的存根类用于编码解码操作。 ```protobuf syntax = "proto3"; package ragflow; service RagflowService { rpc ProcessQuery(QueryRequest) returns (QueryResponse) {} } message QueryRequest { string query = 1; repeated string documents = 2; } message QueryResponse { string result = 1; } ``` 之后，在 Java 端就可以像这样发起 RPC 调用了: ```java ManagedChannel channel = ManagedChannelBuilder.forAddress("localhost", 50051) .usePlaintext() // For testing purposes only. .build(); try { RagflowGrpc.RagflowBlockingStub stub = RagflowGrpc.newBlockingStub(channel); QueryRequest request = QueryRequest.newBuilder() .setQuery(queryText) .addAllDocuments(documentList) .build(); QueryResponse response = stub.processQuery(request); System.out.println("Received from server: " + response.getResult()); } finally { channel.shutdownNow(); } ``` 此段代码说明了怎样建立连接、准备请求对象并通过阻塞模式同步等待响应结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值