大模型时代的PDF解析工具

已于 2024-07-19 14:30:43 修改
阅读量895 收藏 21
点赞数 23
文章标签： pdf python 人工智能 算法 数据库 机器学习 开发语言
于 2024-07-18 14:45:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85375151/article/details/140522963
版权

去年（2023年）是大模型爆发元年。但是大模型具有两个缺点：缺失私有领域知识和幻觉。缺失私有领域知识是指大模型训练时并没有企业私有数据/知识，所以无法正确回答相关问题。并且在这种情况下，大模型会一本正经地胡说八道（即幻觉），给出错误的回答。

那么如何解决这两个缺点？目前主要有两种方法，微调和RAG。微调是指使用企业私有数据/知识基于现有大模型训练出一个新的模型，然后我们使用这个新的模型来回答用户问题。RAG是检索增强生成（Retrieval-Augmented Generation）的缩写，是指在用户提问时系统后台根据用户问题检索相关数据/知识，然后将所检索到的相关数据/知识加上用户问题一起交给大模型处理。
我们可以看到，无论是哪种方法，将企业私有数据/知识传给大模型都是位于整个流程的上游，这个阶段的任何失误都会直接影响到整个流程的下游，最终影响整个问答的准确率。
为了让读者更形象地了解这个环节，本文将以一份上市公司年报PDF为例进行讲解。
本文选择了恒生电子（600570）2022年的年度报告（修订版）做为示例，大家可以在巨潮资讯搜索下载这份PDF文件。

使用传统PDF解析工具解析PDF

首先我们使用传统的PDF解析工具解析PDF。
传统的PDF解析库相当地多，我们就不一一罗列和分析了。这里我们仅以目前最流行的大模型框架LangChain所支持的其中一个解析库PyPDF为例。
我们使用LangChain并选择PyPDFLoader来读取文件“恒生电子：恒生电子股份有限公司2022年年度报告（修订版）.PDF”

from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("example_data/恒生电子：恒生电子股份有限公司2022年年度报告（修订版）.PDF")
pages = loader.load_and_split()

存在的问题

我们发现通过PyPDFLoader读取的结果存在很多问题，这里仅以PDF第6页和第7页的“七、近三年主要会计数据和财务指标”为例：

通过PyPDFLoader读取的结果为（为节省篇幅，这里去除了所有空白换行符）：

七、 近三年主要会计数据和财务指标
(一) 主要会计数据
单位：元 币种：人民币
主要会计数据 2022年 2021年
本期比上年 同期增减
(%)
2020年
营业收入 6,502,387,143.49 5,496,578,624.88 18.30 4,172,645,156.56
归属于上市公司股东的 净利润 1,091,088,379.58 1,463,538,930.14 -25.45 1,321,735,522.48
归属于上市公司股东的 扣除非经常性损益的净 利润
1,144,419,161.05 946,569,672.55 20.90 733,590,924.61
经营活动产生的现金流 1,138,192,779.96 956,789,306.14 18.96 1,397,902,270.41
2022 年年度报告
**7** /
**211** 量净额
2022年末 2021年末
本期末比上 年同期末增
减（%）
2020年末
归属于上市公司股东的 净资产 6,811,761,050.50 5,695,031,051.05 19.61 4,554,029,323.59
总资产 13,004,578,298.67 12,079,908,312.76 7.65 9,971,144,688.34

我们可以发现以下问题：

  1. PDF换页导致表格行头被断开：第四行的行头“经营活动产生的现金流量净额”被断成两截，生生加入了“1,138,192,779.96 956,789,306.14 18.96 1,397,902,270.41 2022 年年度报告 **7** /**211** ”一长串内容。我们可以看到，这一段内容中，干扰信息比正常信息还要多一两倍。遇到这种问题，再强大的大模型都无法正确处理！
  2. 丢失表格列头信息：表格最后几行数据完全无法与表格列头建立关系。从而导致大模型无法识别这些数据所代表的意义。
    除了PyPDFLoader之外，其它传统的PDF解析工具的处理结果也差不多。
    计算机科学与信息通信技术领域有一句习语：垃圾进，垃圾出 （ Garbage in, garbage out ，缩写GIGO ）。我们可以看到，在这个示例中，因为传统PDF解析工具的局限性，生生地把精华处理成垃圾喂给了大模型，大模型自然而然地只能给出垃圾给用户了。那么，我们如何解决这些问题呢？

使用大模型时代的PDF解析工具

既然传统的PDF解析工具跟不上时代的发展，那么我们就使用大模型时代的PDF解析工具。
截至目前为止，大模型时代的PDF解析工具有两类：

  1. 原生支持英文，对中文支持尚待改进的：Marker、nougat（Facebook）、Layoutlmv3（Microsoft）、DocLayNet（IBM）、ByT5（Google）
  2. 原生支持中文，并以中文大模型为试验对象的：Vary、PDF4AI.cn
    这里以Marker(https://github.com/VikParuchuri/marker)为代表简单描述一下第一类工具。Marker的原理是将PDF解析成Markdown喂给大模型。因为Markdown可以保留表格的结构信息，所以能够解决前面示例中的问题。
    然而很遗憾的是，Marker目前尚未支持中文，所以无法用于本文中的示例。不过大模型时代技术发展迅速（LangChain几乎每天更新一个版本），Marker才诞生三个月就已经更新多个版本，相信很快就会支持中文了。
    至于nougat、Layoutlmv3、DocLayNet、ByT5都是类似于Marker的工具，因为篇幅原因，这里就不过多描述了。
    这些工具有些明确表示目前不支持中文，有些虽然支持中文，但是实际效果可能不能满足读者们的预期。
    既然以上工具对中文支持不友好，那么有没有支持中文的类似工具呢？旷视推出了Vary。
    Vary是以中文大模型（阿里巴巴的通义千问Qwen）为试验对象的，并且优先和原生支持中文，从Vary的官网可以看到，Vary的Demo都是先展示中文再展示英文的。
    Vary的官网是https://varybase.github.io/ , 比较奇怪的是，虽然各大自媒体号说这是旷视推出的模型，然而这个官网并没有表现出这一点。同时Vary推出没多久，目前改进空间还很大，笔者将持续关注。
    另一个工具是PDF4AI.cn（https://www.pdf4ai.cn）。PDF4AI.cn的原理与Marker、Vary是一样的，都是将PDF解析成Markdown喂给大模型。
    PDF4AI.cn分为免费版和专业版。截止目前为止，PDF4AI.cn的免费版未能解决以上示例中的问题。
    PDF4AI.cn专业版可以解决以上示例中的问题。以下是PDF4AI.cn专业版的处理结果（为节省篇幅，这里去除了所有空白换行符）：
七、 近三年主要会计数据和财务指标
(一) 主要会计数据
单位：元 币种：人民币  
| 主要会计数据 | 2022年 | 2021年 | 本期比上年同期增减 (%) | 2020年 |
| ------ | ----- | ----- | -------------- | ----- |
| 营业收入 | 6,502,387,143.49 | 5,496,578,624.88 | 18.30 | 4,172,645,156.56 |
| 归属于上市公司股东的净利润 | 1,091,088,379.58 | 1,463,538,930.14 | -25.45 | 1,321,735,522.48 |
| 归属于上市公司股东的扣除非经常性损益的净利润 | 1,144,419,161.05 | 946,569,672.55 | 20.90 | 733,590,924.61 |
| 经营活动产生的现金流量净额 | 1,138,192,779.96 | 956,789,306.14 | 18.96 | 1,397,902,270.41 |
| 归属于上市公司股东的净资产 | 6,811,761,050.50 | 5,695,031,051.05  | 19.61 | 4,554,029,323.59 |
| 总资产 | 13,004,578,298.67 | 12,079,908,312.76  | 7.65  | 9,971,144,688.34 |

熟悉Markdown的朋友们可以看出，以上处理结果将PDF里面的表格转换为Markdown里面的表格。
为了让不熟悉Markdown的朋友们有一个直观的认识，笔者使用Markdown编辑工具将以上结果可视化一下：

现在我们可以清晰地看到，表格信息被完整保留，从而解决了以上示例中的问题。

总结

与传统的PDF解析工具相比，大模型时代的PDF解析工具将PDF解析成Markdown，从而保留一些结构化的信息（例如表格和图片），再喂给大模型，从而避免把精华处理成垃圾，避免垃圾进，垃圾出。
去年（2023年）大模型才爆发，因此这些大模型时代的PDF解析工具都是新生产物，有很多地方尚待改进，不过它们也更新迅速，感兴趣的读者可以持续关注。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：[[全网最全《LLM大模型入门+进阶学习资源包》免费分享**]]👈

​在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解
  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望
阶段3：AI大模型应用架构实践
  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景
学习计划：
  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉[CSDN大礼包🎁：[全网最全《LLM大模型入门+进阶学习资源包》免费分享**]👈

​在这里插入图片描述

拥抱AGI
关注
  • 23
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
微调 LayoutLM v3 以进行发票处理，并将其性能与 LayoutLMv2 进行比较(教程含源码)
iCloudEnd的博客
09-01 950
文档理解是文档处理和提取的第一步也是最重要的一步。它是从非结构化或半结构化文档中提取信息并将其转换为结构化形式的过程。然后，这种结构化表示可用于支持各种下游任务，例如信息检索、摘要、分类等。文档理解有许多不同的方法，但它们都有相同的目标：创建可用于进一步处理的文档内容的结构化表示。对于发票、收据或合同等半结构化文档，随着 LayoutLM v1 和 v2 的开发，微软的layoutLM 模型显示出了巨大的前景。深入的教程可以参考我之前的两篇文章《用于发票识别的微调 Transformer 模型》和《用于发票
GPT商店下周正式上线，美图开放AI视觉大模型.pdf
最新发布
07-05
### GPT商店下周正式上线与美图开放AI视觉大模型解析 #### 一、GPT商店正式上线 GPT商店即将在下周正式对外开放，此举旨在为开发者提供一个平台，通过构建并销售自己的GPT（Generative Pre-trained Transformer，...
华东政法大学-人工智能通用大模型(ChatGPT)的进展、风险与应对-2023-54页.pdf
03-10
华东政法大学-人工智能通用大模型(ChatGPT)的进展、风险与应对-2023-54页.pdf
【全网最强文档智能】大模型 + RAG + PDF问答，居然比 PyPDF + langchain 还好用！
Debroon
02-16 8371
LLM主要依赖于公开的互联网来源作为训练数据，这些数据虽然丰富多样但在专业领域的应用中往往缺乏私有领域知识，限制了LLM在特定领域内的效能。这种全面的方法允许它在处理各种复杂PDF文档时，不仅能够提取文本，还能理解文档的深层结构和逻辑，从而为后续的信息检索和问答系统提供强大支持。：将PDF文档内容解析为结构化的形式，如段落、标题、表格和图像等，并进一步将这些内容分成更小的块（Chunks）。接下来，这些内容块被转换成实值向量，也就是嵌入，这些嵌入反映了各自内容块的语义信息。
12-34 使用无 OCR 大型多模态模型解析 PDF 的方法
ms44的专栏
07-02 1255
TextMonkey 能够在有限的训练资源下实现分辨率增强，同时保留跨窗口信息，减少分辨率增强引入的冗余 token。此外，通过各种数据和借口提示，TextMonkey 已经具备了处理多任务的能力。图 1：TextMonkey 概览。TextMonkey。首先，输入图像通过分割模块分割成互不重叠的块，每个块的尺寸为 448x448 像素。这些块进一步划分为更小的 14x14 像素块，其中每个块被视为一个标记。增强跨窗口关系。
AI大模型.pdfAI大模型.pdf
09-04
AI大模型.pdfAI大模型.pdf
【 LayoutLM】 LayoutLMv3---统一的文本和图像掩码来预训练文档 AI 的多模态 Transformer
h661975的博客
04-02 1815
从而缓解了这个问题。比较模型 #3 和模型 #2 的结果，MIM 目标有利于 CORD 和 RVL-CDIP。由于简单地使用线性图像嵌入改进了 FUNSD，因此 MIM 不会进一步对 FUNSD 做出贡献。通过在训练中结合 MIM 目标，在微调 PubLayNet 时损失会收敛，如图 4 所示，并且获得了理想的 mAP 分数。结果表明，MIM 可以帮助规范训练。因此，MIM 对于 PubLayNet 上的文档布局分析等视觉任务至关重要。
LayoutLMv3
qq_36924281的博客
11-08 1424
为了克服文本和图像模态预训练目标的差异，促进多模态表示学习，提出了LayoutLMv3，通过统一的文本和图像掩码目标MLM和MIM预训练文档AI的多模态Transformers模型。具体来说，当对应的图像标记没有被掩码时，我们将对齐标签分配给未掩码的文本标记，否则分配一个未对齐的标签。它在transformer模型中联合学习图像文本和多模态表示，具备统一的MLM（掩码），MIM和WPA..这使得LayoutLMv3成为第一个不使用CNN做图像嵌入的多模态预训练文档模型，这大大减少了参数并且避免了区域注释。
LayoutLM、LayoutLMV2、LayoutXLM、LayoutLMV3
北落师门XY的博客
08-20 8710
微软一代LayoutLM 用途：表单理解、票据理解、文档图像分类。也就是进行实体识别及分类。 paper: https://github.com/microsoft/unilm/tree/master/layoutlm 简介： https://www.msra.cn/zh-cn/news/features/layoutlm code: https://github.com/microsoft/unilm/tree/master/layoutlm 注意：https://github.com/m
data-mining-application-research.zip_research_数学 pdf_数据_数据模型模型
09-24
在描述中提到的“面对海量的存储数据建立数学模型”，这正是数据挖掘的核心步骤之一，即利用数学工具构建模型来理解和解析数据。 数学在数据挖掘中扮演着至关重要的角色。例如，线性代数用于处理高维数据，概率论和...
互联网运营素质模型能力(20211216170538).pdf
11-29
2. **数据分析能力**：在数据驱动的时代，运营人员必须熟练掌握数据分析工具，如Google Analytics、Excel、Python或R语言等，用于跟踪、评估和优化运营效果。包括用户行为分析、转化率优化、A/B测试等方面的知识。 ...
电子-从ChatGPT热议看大模型潜力.pdf.zip
05-26
《电子-从ChatGPT热议看大模型潜力》这篇PDF文档深入探讨了当前热门话题——ChatGPT及其背后的大模型技术。ChatGPT是OpenAI公司推出的一款基于人工智能的聊天机器人，它通过大规模语言模型训练，展现出惊人的对话...
信息时代从何而来.pdf
10-10
标题“信息时代从何而来.pdf”探讨了信息时代的历史起源，特别是强调了数学在这一进程中的关键作用。文章提到了傅里叶级数、无穷集合理论和哥德尔不完备定理，这些理论是如何引领我们进入信息时代的。 傅里叶级数是...
layoutlmV3使用步骤
weixin_44137397的博客
08-30 5315
layoutlmV3使用步骤
【layoutlmv3推理】无法识别的pdf使用ocr识别代码demo示例
懒惰是科技进步的原始动力
04-24 1017
PDF识别为空时，OCR代码示例，模型layoutlmv3
LayoutLMv3阅读笔记
qq_48612666的博客
12-26 831
关于LayoutLMv3的个人学习笔记
layoutlmv3训练CDLA数据集
sexy19910923的博客
03-11 1415
利用layoutlmv3模型训练CDLA文档版面分析
大模型下开源文档解析工具总结及技术思考
2301_78285120的博客
12-16 1006
本文介绍了一些常见的文档解析工具和实现方法以及文本分割模型在文档解析中的充当的角色，并提供了相关技术实现思路。当然，如果粗糙的进行文档处理也是可以的，常见的有，基于LangChain的文档处理方式，但其底层技术很多都是上述文档parser工具的集成。在面对复杂文档，解析时还是存在一定的困难，基于布局的多模态版面分析是值得研究的点。虽然目前百模支撑的上下文长度能cover一本书的长度，但真正落地实施起来效果一般。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值