基于AI大模型的复杂扫描件PDF信息提取与规整

已于 2024-11-01 17:00:22 修改
阅读量3.7k 收藏 15
点赞数 29
分类专栏： AI 文章标签： pdf 人工智能
于 2024-11-01 16:56:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43106115/article/details/143434628
版权

前言

场景大致是会上传一个几十页的扫描件PDF，让AI在当中找出我需要的字段，本文会隐去具体行业信息和具体的AI提示词内容，只分享技术相关内容，请见谅。

AI模型选择

针对我们行业的使用场景，我主要测试了GPT、Claude以及国内知名的AI公司产品。

下标中”PDF可“的代表能够识别扫描件PDF。

相似字符有3组测试用例，1组为6与8相似，2组为0与O相似，3组为0与Q相似。

信息匹配应该是有2个组。

文件歧义号码查找，是指一个页面上有两个编号，通过我的提示语去查找正确的那个号码。

平台

翻墙

能够读取的文件类型

横向文件识别

特例对比（相似字符识别）

特例对比（信息匹配）

特例对比（歧义号码查找）

速度

备注

KIMI🐅

否

PDF可

👌

3对，第一个6和8都错了，第二个O和0没识别出来。

只分了1个组，每组里面2个字段不对，1个字段没找到。

找错

OK

豆包

否

PDF可

👌

1对，第二个O和0没识别出来，第三个压根没识别

只分了1个组，每组里面1个字段不对，5个字段没找到。

👌

OK

GPT

是

扫描版pdf不支持

文件单次最多10

/

/

/

/

/

最低0.47元/天 解锁文章
大模型时代的PDF解析工具
RemoteJobsExpert的博客
02-26 3449
我们知道RAG很重要的一个环节就是解析PDF。那么传统的PDF解析工具能否适应大模型时代的需求呢？本文将介绍大模型时代的PDF解析工具
AI办公自动化：kimi批量搜索提取PDF文档中特定文本内容
AIGCTribe的博客
06-12 1925
来源：Github，《面向深度学习的多模态融合技术研究综述》，《Make-a-video: text-to-video generation without text-video data》，浙商证券研究所。遍历PDF文档中的每行文本，查找以“资料来源：”开头、以“数据来源：”开头和以“来源：”开头的这一行文本内容；keywords = ["资料来源：", "数据来源：", "来源："]print(f"处理文件{filename}时发生错误：{e}")print(f"正在处理文件：{filename}")
AI人工智能，人工智能OCR识别项目，支持识别PDF文件中的表格，文字和表格识别，身份证信息提取等
02-13
AI人工智能，人工智能OCR识别项目，支持识别PDF文件中的表格，文字和表格识别，身份证信息提取等。
免费AI神器！完美提取识别扫描版PDF文件中的表格内容
AIGCTribe的博客
05-23 1545
万知作为李开复老师旗下零一万物AI大模型的产品，不仅可以免费，而且识别准确率最高，几乎没有任何错误，可以完美还原原文档内容。现在已经有一些工具软，可以识别扫描版PDF文件中的表格，但是效果差强人意，会有很多错误，还需要进行很多修改。很完美的提取出来，点击右上角的复制代码，然后粘贴到Arya - 在线 Markdown 编辑器。输入提示词：提取PDF中的表格内容，然后 全部合并在一起，以markdown格式输出表格。输入提示词：提取文档中第1页的表格内容，以markdown格式输出表格。
【开源】Dify+RAGFlow强强联合：知识库精准度飙升，PDF表格秒变结构化数据！
最新发布
m0_59235945的博客
03-24 1376
RAGFlow可解析PDF、扫描件、表格等复杂格式，自动识别布局并提取结构化数据，弥补Dify原生解析短板。通过多路召回、重排序优化策略，RAGFlow显著提升答案准确性。例如，扫描版PDF表格的解析完整度提升40%以上。Dify支持向量检索、全文检索、混合检索（推荐），结合RAGFlow的API调用，实现“非结构化数据+语义匹配”的双重优势。- 克隆源码并启动Docker容器（需CPU≥4核、内存≥16GB）。- 记录RAGFlow的API地址（如）和API Key。- 修改.env。
人工智能-大模型-PDF解析（文字，章节，表格，图片，参考），基于大模型(ChatGLM2-6B, RWKV)+langchai
10-21
PDF解析（文字，章节，表格，图片，参考），基于大模型(ChatGLM2-6B, RWKV)+langchain+streamlit的PDF问答，摘要，信息抽取 介绍 实现对PDF解析，将给定的PDF结构化成以下几个部分。 文字 总标题，章节标题和章节对应的文字内容 图片 图片和图片标题 表格 表格和表格标题 参考 参考 在这个项目中还有两个部分用到了大模型 使用了RWKV-Raven-7B对PDF做摘要。 是用了ChatGLM2-6B对参考文献做信息抽取。 将参考文献结构化成字典的格式，字典包含了”作者“，”标题“，”年份“。 在这个项目中还有实现了一个对PDF问答的例子。
Dify PDF文件解析
qq_61210289的博客
03-13 3671
是一款开源的大语言模型(LLM) 应用开发平台，它融合了后端即服务（Backend as Service）和的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。但是在构建dify知识库的时候发现，dify对pdf文件的解析能力很差，它使用的是PyMuPDF包，这使得dify不能解析纯图片类的pdf文件，也不能保存pdf文档中的图片。
用AI从PDF文件中提疏并构建智能对话
Python_cocola的博客
06-11 876
在当今这个数字化迅速发展的时代，人工智能技术正扮演着越来越关键的角色，尤其是在文件处理和数据分析方面。PDF作为一种被广泛使用的文件格式，人们常常需要提取其中的信息进行交流或进一步的数据处理。让我们一起看看如何基于PDF文件内容构建一种智能对话系统。
实验 | 使用本地大模型从论文PDF中提取结构化信息
python12345678_的博客
10-03 7412
的提取不够准确，有一定的遗漏。
12-34 使用无 OCR 大型多模态模型解析 PDF 的方法
ms44的专栏
07-02 1997
TextMonkey 能够在有限的训练资源下实现分辨率增强，同时保留跨窗口信息，减少分辨率增强引入的冗余 token。此外，通过各种数据和借口提示，TextMonkey 已经具备了处理多任务的能力。图 1：TextMonkey 概览。TextMonkey。首先，输入图像通过分割模块分割成互不重叠的块，每个块的尺寸为 448x448 像素。这些块进一步划分为更小的 14x14 像素块，其中每个块被视为一个标记。增强跨窗口关系。
python+ollama本地大模型批量识别PDF，总结摘要以及关键词并输出EXCEL。
m0_62662762的博客
11-07 9676
这段是处理指定文件夹中的所有PDF文件，并读取PDF识别后的txt文件中的文章信息，提交给本地大模型，我这里使用的qwen2.5：14b，总体上来说，qwen2.5还是好用的，并将结果保存到EXCEL中。，如下是如何处理单个PDF，并设有异常处理，在处理PDF时存在部分乱码，可能是包含有图片格式的问题，故此设置了清洗文本，只保留了可以打印的字符，在提交给大模型进行回答时不受影响，个人没有进行未清洗测试。然而随着AI的兴起，本地大模型的部署，这些成为一种很方便的方法，接下来我将为各位介绍我所使用的方法。
基于大模型chatglm的pdf文档解析.zip
10-30
基于大模型chatglm的pdf文档解析： 实现对PDF解析，将给定的PDF结构化成以下几个部分。 - 文字 - 总标题，章节标题和章节对应的文字内容 - 图片 - 图片和图片标题 - 表格 - 表格和表格标题 - 参考 - 参考 以下是这个项目的几个主要文件： - ```src/pdf_parser.py```：包含了所有 PDF 解析相关代码。 - ```src/llm_summarizer.py```：包含了大模型摘要相关代码。 - ```src/llm_extractor.py```：包含了大模型对参考文献做信息抽取相关代码。 - ```src/main.py```：包含了一些示例代码，展示了如何使用 ```src/pdf_parser.py``` 中的功能。 - ```src/utils.py```: 包含了一些工具函数。 - ```src/app.py```: 包含了一个用```streamlit```和```langchain```做PDF问答的例子。 - ```config.ini```：包含了大模型文件路径和相关的tokenizer文件路径。
图像识别与人工智能.pdf
03-31
该文档是百度PaddlePaddle平台深度学习训练营的第一天的PDF
【GitHub项目推荐--OCR 图片转文字识别软件】【转载】
j8267643的博客
01-28 4895
基于 PaddleOCR 的 OCR 图片转文字软件，已经获得 3.6K 的 Star。该开源项目完全离线，支持截屏/批量导入图片，除了能准确辨认常规文字，对手写、方向不正、杂乱背景等情景也有不错的识别率。可设置忽略区域排除水印、设置文块后处理合并排版段落，得到规整的文本。开源地址：https://github.com/hiroi-sora/Umi-OCR。
第1章 开启Python之旅
weixin_44259522的博客
12-20 1200
这是一本关于如何利用Python提高日常办公效率的书，书中凝聚了作者多年的实践经验和独特思考，旨在帮助读者准确、高效地完成大量高重复度的工作。本书汇集了日常办公和处理文档时常见的问题，通过实例的演示与讲解，帮助读者灵活有效地使用Python处理工作中遇到的问题。全书共11章，涵盖Python的各种应用场景，具体包括文件管理自动化，网络信息自动获取，TXT、XLS／XLSX、DOC／DOCX、PPT、PDF、图片文件的自动化处理，模拟鼠标、键盘操控本地软件，自动化运行管理等。
为何学习Python?这是我看到的最好回答
07-09 718
Python已经是现代人不可或缺的工具。如果你熟悉下面的场景，你可以考虑学习Python。学习Python可以更好地解决问题，提升工作效率。 1.1.1　繁忙的工作场景 我们天天都在忙，究竟在忙些什么？ 查找各种文件，在一个个文件夹里来回穿梭。 在TXT、XLS/XLSX、DOC/DOCX、PPT、PDF文档之间来回切换，复制、粘贴，运指如飞。 打开几十个网页，以便及时获取信息。 将各种数据输入系统，以及把数据填写到各种Excel表格中。 各种办公系统、ERP软件的日常操作，不停地用鼠标点点点。 这些场景构
PDM - Product Data Management(产品数据管理)
热门推荐
biili的专栏
05-06 2万+
第一章 PDM入门知识　　走进PDM 　　PDM定义　　为什么实行PDM　　CAD/CAM用户需知道的PDM基本知识　　非凡的优势 PDM的好处—投资可在整个企业中得到回报　　如何决定你是否需要PDM系统 在管理钢丝上行走　　PDM购买须知走进PDM肖 文引言　　什么是PDM?这是一个既易回答久颇具争议的问题。说名容易回答，是因为自从它面市这十多年来，很多公司对它进行过研究，下过定
使用本地大模型从论文PDF中提取结构化信息
m0_37134868的博客
08-07 3028
打开电脑命令行cmd(mac是terminal), 网络是连网状态，执行模型下载(安装)命令。ollama软件目前支持多种大模型， 如阿里的（qwen、qwen2）、meta的(llama3、llama3.1)， 读者根据自己电脑配置下载相应的模型。在Python中调用本地ollama服务，需要先启动本地ollama服务， 打开电脑命令行cmd(mac是terminal), 执行。点击前往网站 https://ollama.com/ ，下载ollama软件，支持win、Mac、linux。
本地部署最强OCR大模型olmOCR！支持结构化精准提取复杂PDF文件内容！完美识别中英文文档、模糊扫描件与复杂表格！本地部署与实际测试全过程！医疗法律行业必备！轻松应对企业级PDF批量转换需求
m0_71165399的博客
03-01 3346
allenai/olmocr是由Allen人工智能研究所(AI2)开发的一个开源工具包,旨在高效地将PDF和其他文档转换为结构化的纯文本,同时保持自然阅读顺序。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值