破解PDF解析难题：RAG中高效解析复杂PDF的最佳选择

最新推荐文章于 2025-03-22 22:57:47 发布

江湖人称麻花滕

最新推荐文章于 2025-03-22 22:57:47 发布

阅读量1.4k

点赞数 25

文章标签： pdf flask python 后端架构大数据

本文链接：https://blog.csdn.net/m0_59235699/article/details/143441795

版权

在 AI 领域，高效处理 PDF 文档是提升知识管理效率的关键。

随着检索增强生成（RAG）技术的普及，从朴素 RAG 到高级 RAG，再到 GraphRAG 的快速演进，如微软的 GraphRAG 和 LightRAG 等框架不断涌现。这些框架提升了 RAG 的精度，但大多不支持 PDF 格式，而企业内部却存在大量 PDF 文档。因此，将这些资料有效整合进内部知识库成为技术挑战。

然而，各种开源 PDF 解析和商用 PDF 解析工具到底性能怎么样？是否能够精确地处理好一直被诟病的图表转换问题？最近新出的论文《A Comparative Study of PDF Parsing Tools Across Diverse Document Categories[1]》评测了 10 种流行的 PDF 解析工具，如下表所示。

我们使用Google NotebookLLM[2]对该论文进行分析，它推荐适用性更强的 PDF 解析器PyMuPDF和更适用于论文解析的Nougat。本文在此基础上，加入商业 PDF 解析工具TextIn(通用文档解析器，合合信息旗下)和国内某商用产商（后面以某产商代指）的文档解析器，并以该论文作为样本，探索它们在文本提取、表格检测、图像提取、易用性中的真实表现。无论你是研究人员还是开发者，本文的发现将为你选择合适的解析工具提供宝贵的指导，助力提升文档处理的效率和准确性。

先说结论，满分 5 分。另文末有福利，先到先得~

注：

当前多模态嵌入模型已经出现，我认为准确提取图像也是重要的因素之一，RAG 未来的发展应该不仅仅是文本，也应包括图像。

文本识别和段落完整性，采用大模型进行综合评价，而图表处理则使用肉眼直接对比。

1. 安装与使用

1.1 PyMuPDF

PyMuPDF[3]是一个高性能的 Python 库，用于从 PDF（以及其他）文档中进行数据提取、分析、转换和操作。它支持快速处理 PDF 文件，提供了灵活的接口来提取文本、图像、表格等内容，并且可以进行页面操作、格式转换等多种功能，广泛应用于文档处理、自然语言处理（NLP）任务及数据分析等领域。为了输出 Markdown，这里需要使用它的另外一个版本 PyMuPDF4LLM。API 很简单，非常容易集成到 RAG 应用流程。

使用方法

pip install pymupdf4llm

import pymupdf4llm   import pathlib      md_text = pymupdf4llm.to_markdown("/Users/xxx/Downloads/2410.09871v1.pdf")   pathlib.Path("2410.09871v1-pymupdf.md").write_bytes(md_text.encode())

1.2 TextIn

合合信息[4]是一家人工智能及大数据科技企业，具有优秀的智能文字识别技术，是 OCR 领域领先开发者。公司 C 端产品主要为面向全球个人用户的 APP 产品，包括扫描全能王、名片全能王等；同时也为开发者提供智能文档处理服务。在 TextIn 平台注册后，即可领取 100 页免费测试额度。打开TextIn[5]的通用文档解析工作台，点击左侧上传文件即可，如下图所示。

速度非常快，几乎瞬间转换完成，并且可以逐个段落点击进行高亮对比，如果发现错误也可以手工进行修正，这一点能极大提升文档转换和校正的效率。校正完成后，点击右下角的导出结果按钮即可导出 markdown 文件。本次比对，暂不手动校正，影响其他评测指标，但是否方便校正本身也是一种指标。

除此之外，TextIn 也支持像 PyMuPDF 一样通过 API 调用。在平台获取 Token 之后，按照如下同步代码，即可转换 PDF 为 Markdown。

# 读取文件内容   file_path = '/Users/xxx/Downloads/2410.09871v1.pdf'   with open(file_path, 'rb') as fp:       pdf = fp.read()      # 初始化Textin   app_id = '#####c07db002663f3b085#####'   ...      # 发送请求   url = "https://api.textin.com/ai/service/v1/pdf_to_markdown"   headers = {       'x-ti-app-id': app_id,       'x-ti-secret-code': app_secret   }   resp = requests.post(url, data=pdf, headers=headers, params=options)      # 保存结果   result = resp.json()   with open('result.json', 'w', encoding='utf-8') as fw:       json.dump(result, fw, indent=4, ensure_ascii=False)

返回的结果中直接包含 Markdown 的内容，速度很快不到 2 秒 19 页就解析完成了，可以极大提升我们文档处理效率。同时提取的内容可以保存为 md 或者直接将其 chunk 分割，更容易直接集成到 RAG 应用的流程中。

注：若是将这些代码整合成类似 pymupdf 的两行代码就更棒了

1.3 Nougat

Nougat[6]是 Meta 于 2023 年 8 月开源的一款专门用于学术文献的 PDF 解析器，能够理解 LaTeX 数学公式和表格。它是一种基于视觉 Transformer 的模型，执行光学字符识别（OCR）任务，将科学文献处理为标记语言，具体论文可见Nougat: Neural Optical Understanding for Academic Documents[7]。

安装

pip install nougat-ocr   pip install transformers==4.38.2 #必须安装低版本的transformer，不然你可能遇到BARTDecoder错误，亲测4.38.2可用。

然后执行以下命令将论文转换为 markdown 格式。

nougat /Users/xxx/Downloads/2410.09871v1.pdf -o ./ -m 0.1.0-base --batch 2

耗时很夸张，在我的 Mac M1 上 19 页的论文达到了 47 分钟。

INFO:root:Processing file /Users/xxx/Downloads/2410.09871v1.pdf with 19 pages   ██████████████████████████████████████████████████████████████| 10/10 [47:57<00:00, 287.71s/it]

注：nougat 生成的是 mmd 文件，兼容mathpic-markdown[8]。我们可以在 VS Code 中安装插件 Mathpix Markdown 来显示。

1.4 某产商

这家公司也同样支持多样化的文档解析，支持网页端直接上传和使用 API 访问，但是不支持导出为 Markdown，API 需要先上传再轮询状态获取。意味着我们需要离线处理文档，无法直接集成到 RAG 应用流程中。

image-20241030220153170

接下来，我们准备开始对比。对比采用两种方式，文本采用大模型帮助我们比对，而图表我们则使用肉眼直接进行观察，这样更为准确。

2. 文本对比

既然要看抽取的文档质量是否有差错，可以考虑使用大模型帮助我们自动评判与原文在语义上的相关性，是否存在一些错误的转译。我们选择论文 3.1 节中双排图文混排进行对比。

2.1 原文

image-20241025114117830

2.2 编写 LLM 评测代码

如下 Prompt 然后要求 ChatGPT 进行打分。

prompt = f"""       这是从PDF原文上使用4种PDF解析器提取的，请对照原文基于以下3个指标进行评价。满分5分，根据这几项进行打分，输出markdown表格          1. **准确识别单词**：是否存在提取的文本错误，忽略错误的单词分隔和连字符等问题。       3. **保持段落完整性**：嵌入的元素如公式或图像可能会导致段落被打断，或者将标题错误地合并到正文中。如果原文有图像，但是转换的markdown没有图像，则需要扣分。       3. **保持原文语义**：是否存在多提取的内容，导致文本不对。          Original Text:       {original_text}          ===================       Markdown Generated by Nougat:       {segment1}          ===================       Markdown Generated by TextIn:       {segment2}          ===================       Markdown Generated by PyMuPDF4LLM       {segment3}          ===================       Markdown Generated by Another Vendor       {segment4}       """

结果输出如下

在这里插入图片描述

总结：在文本准确识别上，Nougat 和 TextIn 表现较好，不分伯仲。

3 表格对比

我们选取了一个比较有代表性的表格来比较，这个表格有左侧是目录，而右侧标题列，且分为两行副标题列。

3.1 原文

3.2 PyMuPDF

PyMuPDF 的表格提取，我其实想问问你提取的是啥？这是表格？

3.3 TextIn

不能说完美，但简直一模一样，除了标题列 Metrics 与 Precision 融合到一起之外，没有任何问题，而这种小错误在校正阶段即可手动修复掉。

3.4 Nougat

Nougat 虽然号称是专为学术领域打造的 PDF 论文解析器，然而在这个表格提取上，属实拉胯。目录丢失严重，关键信息丢了，右侧数据再完整又有何用？但它的公式表现确实不错。

3.5 某产商

它输出的是 Word 文档，在这个表格上表现不错。但 Word 文档里的表格，RAG 要想正确处理还需要费一番功夫。

但其实论文里充斥的公式导致了整体排版有点混乱，这一点我们在文本比对中并没有显式进行对比，当然本文重点也不是公式比对。

总结：表格提取上，开源的表现都不太好。虽然某产商在表格提取不错，但输出的是 word 文档。这一环节显然 TextIn 胜出。

4. 图像对比

正如我们之前所说，我们采用肉眼对比图像，接下来多图预警。本节采用 2.1 节中所用图文混排的双排论文作为比对对象。

4.1 PyMuPDF

PyMuPDF 丢失所有图像，只保留图标题。

4.2 TextIn

可以看到 TextIn 准确地识别出了排列，以及图片和其对应的描述。这里图片内容并不影响文本本身的连续性，因为 markdown 中图片内容是以注释[]( "")格式存在。在 RAG 应用进行 chunk 的时候，并不会导致文本连续受到影响。

4.3 Nougat

Nougat 会把论文中所有的图都丢弃，只保留了图的标题。就这个解析还把原文中的小标题 3.1 丢弃了，整个排版也变得乱序起来，丢大分，耗时就不说了。

4.4 某产商

图像提取出来了，图像标题也提取了，但是混合到正文中去了，且没有分隔符分开。

总结：图像提取这一环节，开源工具都忽略图像，某产商的图像标题错乱排版，TextIn 依然胜出。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述