RAGflow分片策略与文档解析器（二）文档解析器DeepDoc

最新推荐文章于 2025-06-08 20:34:39 发布
最新推荐文章于 2025-06-08 20:34:39 发布
阅读量669 收藏 16
点赞数 12
文章标签： 大模型 LLM ai 自然语言处理 大模型入门 RAG RAGFlow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Code1994/article/details/148492746
版权

二、文档解析器DeepDoc

其实在我们选择切片方法的同时，还有一个很重要的一个设置文档解析器：DeepDoc。

不同格式和不同检索要求的大量文档，准确的分析成为一项极具挑战性的任务。DeepDoc 就是为了这个目的而诞生的。到目前为止，DeepDoc 中有两个组成部分：视觉处理和解析器。

parser解析器： 可以看到包括有如下的这些不同类型的文件解析器。

在这里插入图片描述

PDF、DOCX、EXCEL和PPT四种文档格式都有相应的解析器。最复杂的是PDF解析器，因为PDF具有灵活性。PDF解析器的输出包括：

  • 在PDF中有自己位置的文本块（页码和矩形位置）。
  • 带有PDF裁剪图像的表格，以及已经翻译成自然语言句子的内容。
  • 图中带标题和文字的图。

视觉处理： 包括了OCR、recognizer、LayoutRecognizer、TSR、init_in_out。

在这里插入图片描述

**OCR 。**由于许多文档都是以图像形式呈现的，或者至少能够转换为图像，因此OCR是文本提取的一个非常重要、基本，甚至通用的解决方案。

输入可以是图像或PDF的目录，或者单个图像、PDF文件。您可以查看文件夹 path_to_store_result ，其中有演示结果位置的图像，以及包含OCR文本的txt文件。

Recognizer: 接收图像→预处理→模型推理→后处理→返回识别结果（包含类型、边界框和置信度）。

这个代码似乎是用于文档分析的视觉组件，可能用于识别文档中的表格、文本框、标题等元素。

布局识别（Layout recognition）。 来自不同领域的文件可能有不同的布局，如报纸、杂志、书籍和简历在布局方面是不同的。只有当机器有准确的布局分析时，它才能决定这些文本部分是连续的还是不连续的，或者这个部分需要表结构识别（Table Structure Recognition，TSR）来处理，或者这个部件是一个图形并用这个标题来描述。我们有10个基本布局组件，涵盖了大多数情况：

  • 文本
  • 标题
  • 配图
  • 配图标题
  • 表格
  • 表格标题
  • 页头
  • 页尾
  • 参考引用
  • 公式

TSR（Table Structure Recognition，表结构识别）。数据表是一种常用的结构，用于表示包括数字或文本在内的数据。表的结构可能非常复杂，比如层次结构标题、跨单元格和投影行标题。除了TSR，我们还将内容重新组合成LLM可以很好理解的句子。TSR任务有五个标签：

  • 列

  • 行

  • 列标题

  • 行标题

  • 合并单元格

init_in_out 方法是一个用于初始化输入和输出的函数，主要功能是处理输入文件（图像或PDF）并准备相应的输出路径。这个函数在视觉识别流程中起到了准备数据的作用，为后续的识别过程提供了标准化的输入和输出路径。

三、总结

RagFlow在文档切片过程中提供了丰富的配置项供用户进行选择，大家在使用时也需要根据文档的内容和形式仔细进行选择。通过这些配置，可以看到提供的确实比Dify在知识管理上有一定的优势。后续在针对RAGflow的其他特性在进行介绍。

四、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

AI学习指南RAG篇(23)-RAGFlow的DeepDoc模块
俞兆鹏的博客
03-19 573
DeepDoc作为RAGFlow的核心组件，通过利用OCR、布局识别、表格结构识别等技术，实现了对文档的深度理解和信息提取。这些技术不仅能够处理多种文档格式，还能智能地识别文档中的各种元素，为后续的检索和生成提供支持。希望本文的介绍能帮助您更好地理解和使用DeepDoc。
RAGflow分片策略与文档解析器
顺其自然~专栏
05-19 181
只有当机器有准确的布局分析时，它才能决定这些文本部分是连续的还是不连续的，或者这个部分需要表结构识别（Table Structure Recognition，TSR）来处理，或者这个部件是一个图形并用这个标题来描述。支持多个工作表，只要列结构正确即可。其实在项目中，我们也碰到了客户经常问这些问题，我们的文档，如何采用更加合理的分块策略，才能更好的查询到所需的数据，这些才是客户更加关注的。由于许多文档都是以图像形式呈现的，或者至少能够转换为图像，因此OCR是文本提取的一个非常重要、基本，甚至通用的解决方案。
从零实现本地知识库问答——实战基于OCR和文本解析器的新一代RAG引擎：RAGFlow(含源码剖析)
结构之法 算法之道
04-13 1万+
继InfiniFlow于去年年底正式开源 AI 原生数据库 Infinity 之后，InfiniFlow的的端到端 RAG 解决方案 RAGFlow 也于近期正式开源是的，你没看错， 这3个看起来很不性感的地方，恰恰是目前许多 LLM 没有做好的。伴随着长上下文 LLM 的升级，特别是针对长上下文“大海捞针”能力的提升，极大缓解了 RAG 实施中的痛点之一 —— 来自 LLM 自身的问题而另一大问题就是来自 RAG 系统本身，这包含：数据库的问题。多路召回对于 RAG还挺重要的。
深度拆解RAGFlow分片引擎！3大阶段+视觉增强，全网最硬核架构解析
yxkong的专栏
04-16 1546
上次讲解代码以后，把rag这块遗留了下来，rag的代码相对来说比较复杂，一环套一环。我们今天先来拆解下分片的整体流程。在最新的版本中，使用视觉模型，对图表进行增强。在这个方法里根据切片配置进行了处理。通过最近的源码解析，ragflow后面的升级有几块。点击文档后面的启动按钮。这里只是把切片的配置做了设置。我们从接口的请求参数和界面对照，大致了解下。执行run_graphrag。我们看下默认分片中的关键方法。执行run_raptor。deepseek相关资料。PDF解析器+布局识别。GraphRAG模式。
RagFlow系列：万字源码解析全网最清晰分析---视觉处理：OCR
ngadminq的博客
06-05 610
本文将从源码深度分析Ragflow，理解原理，未来对复杂场景可以多一些思考。但他的工作流做得不够出色，现在一般的方案是用RagFlow 只构建知识库。用dify或手搓代码做更智能体搭建。因此本文将侧重于RagFlow的ocr文档处理部分。
RAG效果优化：高质量文档解析详解
科技很有意思
09-02 1701
本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。
主流RAG 框架深度分析：Dify、FastGPT、RAGFlow、LangChain，哪个更适合你？
2401_82469710的博客
04-09 1267
本文将深入探讨 RAG 的必要性，并对比 Dify、FastGPT、RAGFlow 和 LangChain 这四个广受欢迎的框架，从功能深度、适用场景等维度为你提供选择依据。
RAGFlow：引领OCR与文档解析技术革新的下一代RAG引擎
xzq_qzx_的博客
04-28 2773
在人工智能的蓬勃发展浪潮中，检索增强生成（RAG）技术凭借其独特优势，迅速成为研究和应用的焦点。RAG技术巧妙地将大型语言模型（LLMs）的卓越生成能力与高效的信息检索系统相结合，为用户带来前所未有的交互体验。然而，随着技术的深入应用，一系列挑战也逐渐浮出水面。现有的RAG系统在处理海量数据时，常常面临效率和准确性的双重考验。尽管LLMs在生成流畅文本方面表现出色，但在面对复杂、非结构化的数据时，它们往往难以精准捕捉和提取关键信息。
【Ragflow】11. 文件解析流程分析/批量解析实现
兴趣使然的创作者
04-04 914
本文继续对ragflow文档解析部分进行分析，并通过脚本的方式实现对文件的批量上传解析。
来自工业界的知识库 RAG 服务(二)，RagFlow 源码全流程深度解析
热门推荐
易迟的专栏
05-24 2万+
前面介绍过有道 QAnything 源码解析，通过深入了解工业界的知识库 RAG 服务，得到了不少调优 RAG 服务的新想法。因此本次趁热打铁，额外花费一点时间，深入研究了另一个火热的开源 RAG 服务RagFlow的完整实现流程，希望同样有所收获。首先依旧可以先从框架图入手，与常规的 RAG 架构进行一些比较可以看到右侧知识库被明显放大，同时最右侧详细介绍了文件解析的各种手段，比如OCR等，这些在常规的 RAG 中可能会作为一个不起眼的。
【Ragflow】4.增加文档撰写功能，实现全新交互模式
兴趣使然的创作者
03-24 1100
在你习惯和大模型进行问答交互时，是否考虑过一个问题？如果用大模型辅助论文写作，问答是否是最优交互方式？ChatGPT中用Canvas实现编码的动态交互插入，这种交互形式是否可以进一步推广到文档撰写？于是我在ragflow框架的接口基础上，实现了该功能。
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
2501_91516851的博客
06-04 925
长短期记忆网络（LSTM）通过创新的门控机制解决了传统RNN的梯度消失问题。其核心是记忆单元和三个门（遗忘门、输入门、输出门），能够选择性保留长期依赖信息。相比RNN，LSTM的线性信息流使梯度有效传播，门控机制动态调节信息流动。LSTM在文本分类、序列标注、机器翻译等NLP任务中表现优异，并衍生出GRU、双向LSTM等变体。伪代码展示了LSTM单元的基本实现逻辑，包括门控计算和状态更新过程。
NLP学习路线图（二十）：FastText
2501_91516851的博客
06-03 1179
FastText是Facebook AI团队提出的创新型词向量模型，它在Word2Vec基础上引入字符n-gram的子词信息，有效解决了传统词向量在形态丰富语言、罕见词和OOV词处理上的痛点。该模型通过将词分解为字符n-gram的组合，利用共享的n-gram向量实现词义的分解与重组，显著提升了词向量表示的泛化能力。FastText具有训练高效、内存占用少等优势，尤其擅长处理社交媒体文本等存在大量新词和拼写错误的场景。
NLP学习路线图（二十九）：BERT及其变体
2501_91516851的博客
06-06 858
在自然语言处理（NLP）领域，一场静默的革命始于2017年。当谷歌研究者发表《Attention is All You Need》时，很少有人预料到其中提出的Transformer架构会彻底颠覆NLP的发展轨迹，更催生了以GPT系列为代表的语言模型风暴，重新定义了人类与机器的交互方式。
自然语言处理——语言模型
最新发布
m0_74259787的博客
06-08 508
介绍了常见语言模型，包括n元文法和前馈神经网络
RAG技术解析：实现高精度大语言模型知识增强
一次次探索代码无限可能的旅程，专注于前端、后端、服务器及AI大模型的分享和交流。与我一起踏上这段无尽的技术之旅吧！
06-04 1047
RAG技术为大语言模型注入了"外部记忆"能力，使其能够基于最新和专有知识提供准确回答，有效克服了大模型"幻觉"问题。相比传统的微调方法，RAG具有实现成本低、部署简单、知识可实时更新等优势，特别适合企业级应用场景。随着向量数据库、嵌入模型和提示工程技术的不断进步，RAG系统的性能还将持续提升，为各领域的智能问答和知识服务带来更大价值。
赋能大型语言模型与外部世界交互——函数调用的崛起
weixin_47420447的博客
06-06 1056
函数调用，或称工具使用，其核心定义是一种使大型语言模型能够根据用户的自然语言输入，请求执行外部系统中预先定义好的函数或API的技术。在此过程中，LLM本身并不直接执行这些函数；相反，它会分析用户意图，并生成一个包含目标函数名称及其所需参数的结构化数据（通常为JSON格式）1。这个结构化数据随后被传递给外部的应用程序或执行环境，由后者负责实际调用函数并处理结果。
NLP学习路线图（二十四）：门控循环单元（GRU）
2501_91516851的博客
06-04 901
在自然语言处理（NLP）领域，处理序列数据（如文本、语音、时间序列）是核心任务。传统的前馈神经网络难以有效捕捉序列中的长期依赖关系。循环神经网络（RNN）应运而生，但其存在臭名昭著的梯度消失/爆炸问题，限制了其处理长序列的能力。为了解决这一瓶颈，门控循环单元（Gated Recurrent Unit, GRU） 作为一种强大的序列模型变体被提出，它在保持RNN核心思想的同时，显著提升了模型记忆和传递长距离信息的能力。
NLP学习路线图（二十八）：BERT及其变体
2501_91516851的博客
06-06 833
自然语言处理（NLP）领域在近些年经历了革命性的发展，其中Transformer架构的提出和BERT模型的诞生无疑是两个最关键的里程碑。它们不仅刷新了几乎所有NLP任务的性能记录，更深刻地改变了我们构建和理解语言模型的方式。本文将深入剖析Transformer的核心机制，详细解读BERT的工作原理及其带来的范式转变，并探讨其重要变种的发展脉络与技术特点。
ragflow使用gpu加速文档解析
03-27
### 使用 GPU 加速 RAGFlow 的文档解析过程 为了实现 GPU 加速的文档解析，在 RAGFlow 中可以通过 Docker 和特定配置完成这一目标。以下是关于如何设置和优化的过程： #### 1. 安装依赖项 确保本地环境中安装了必要的工具，包括 NVIDIA CUDA 工具链以及支持 GPU 的驱动程序。这些组件对于启用 GPU 支持至关重要[^2]。 ```bash sudo apt-get update && sudo apt-get install -y nvidia-driver-<version> distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 上述脚本用于更新系统并安装 NVIDIA Container Toolkit，从而允许容器访问主机上的 GPU 资源[^3]。 --- #### 2. 下载 RAGFlow 并配置环境 克隆官方仓库到本地目录，并进入项目根路径执行初始化操作。此步骤还包括创建 `.env` 文件以定义运行所需的参数。 ```bash git clone https://github.com/your-repo/ragflow.git cd ragflow touch .env ``` 编辑 `.env` 文件时需指定与 GPU 相关的内容，例如模型加载器 `OLLAMA_HOST` 或其他硬件绑定选项。 --- #### 3. 启动服务并通过日志验证状态 通过 `docker-compose-gpu.yml` 来部署整个架构，其中包含了针对 GPU 进行调整的服务实例化逻辑。具体命令如下所示： ```bash docker compose -f docker-compose-gpu.yml up --build -d ``` 随后可通过查看实时日志确认各模块是否正常工作，特别是负责处理文件索引的部分是否有错误提示。 ```bash docker logs -f ragflow-server ``` 如果发现任何异常情况，则按照报错信息逐一排查原因直至完全修复为止。 --- #### 4. 测试性能提升效果 最后一步就是衡量引入 GPU 后带来的效率改进程度。通常可以从以下几个方面入手评估差异显著与否： - **吞吐量对比**：比较相同条件下分别采用 CPU 及 GPU 执行任务所需时间长短； - **资源利用率统计**：借助监控平台观察计算节点上各类设备负载水平变化趋势图谱； 实际测试表明当面对大规模复杂数据集时选用合适的硬件设施确实能够带来可观收益[^1]。 --- ### 总结 综上所述，要让 Ragflow 利用 GPU 实现更高效的文档分析流程主要涉及前期准备阶段（即软件栈搭建）、中期定制环节（比如修改默认行为使之更适合当前需求场景），还有后期调优部分（持续跟踪反馈不断迭代完善）。只要遵循以上指导原则就能顺利达成预期目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值