Python提取pdf中的表格信息，存入项目数据库中

已于 2022-10-17 09:21:32 修改
阅读量1.6k 收藏 6
点赞数 2
分类专栏： 研究生工程项目学习笔记 文章标签： python 开发语言 爬虫
于 2022-10-11 19:54:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43581143/article/details/127269794
版权

Python提取pdf中的表格信息流程

  • 第一步 download_pdf.py : 通过爬虫脚本生成的csv文件将所有标准表单下载到本地，直接运行即可，会自动在同级目录下新建 ‘/标准文件’ 目录存放文件。由于原网站上部分标准文件已经下架，极个别url会失效。

  • 第二步 standard_pdf.py : 从爬取下来的所有pdf文件中提取表单和表单模板，采用的pdfplumber库，提取的表单会存放到 ‘./表单/pdf_id/’ 中，生成的表单模板会存放到 ‘./表单模板/pdf_id/’ 中。目前由于部分pdf中的表单比较特殊，会出现提取错误的情况。在每个pdf文件解析完成后，会对生成的模板和模板库进行匹配，删除完全相同的重复模板。这个函数会调用match.py文件

  • match.py : 模板匹配，实际为比较表头是否完全一致，完全一致则认为是相同模板，否则认为是不同模板并新建入库。直接运行时会遍历所有表单模板并删去重复文件。调用时直接调用 match(path,pdf_name)即可 即在模板库中对pdf_name匹配。

  • 第三步label.py : 表单模板分类，目前的实现方式是自定义一个表头模板的key词，比较表头的相似度进行分类。输出为控制台输出 文件名+分类结果。由于逻辑比较简单，精度有待提高。

分析提取出的表单和表单模版结构

验证表单模版的有效性

细分实验1步骤：
第一步：按行业下载标准文件，在下载标准文件的时候就按照每个标准文件属于哪个行业进行分类。经下载结果，总共14个行业。
第二步：按照行业对表单和表单模板分类，对第一步中获取的每一个标准文件进行表单和表单模板提取，在每一个行业中按照提取后表单和表单模板数量对标准文件进行降序排列。
第三步：从每个行业中依次按照选取一个标准文件、两个标准文件查看提取出的表单和表单模版的数量，与分析所有标准文件提取出的表单和表单模版进行对比，计算覆盖率。
第四步：根据第三步的结果判断我们选择的标准文件提取出的表单模版是否具有典型性。

细分实验1结果

在这里插入图片描述

在这里插入图片描述
经过统计总共有155个标准文件，14个行业，不同行业拥有的标准文件数量分别为7，1，28，2，68，3，1，2，1，2，1，4，9，10，15。
经分析得出结论，需要每个行业至少选取21个标准文件才能实现表单和表单模板覆盖率达到90%以上
经修正，由于标准中不同行业的表单差距较大，并且不同行业拥有的标准文件数量存在较大差异，所有行业集中分析并不具有研究价值，故增加单行业进行分析的实验。
细分实验2步骤：对于每一个行业单独分析，从每个行业中依次按照选取一个标准文件、两个标准文件查看提取出的表单和表单模版的数量，与分析该行业中所有标准文件提取出的表单和表单模版进行对比，计算每个行业的覆盖率。从而判断我们选择的标准文件提取出的表单模版是否具有行业典型性。

细分实验2结果

交通运输、仓储和邮政业
在这里插入图片描述
住宿和餐饮业
在这里插入图片描述
公共管理、社会保障和社会组织
在这里插入图片描述

农、林、牧、渔业
在这里插入图片描述

制造业
在这里插入图片描述
在这里插入图片描述

卫生和社会工作
在这里插入图片描述

居民服务、修理和其他服务业
在这里插入图片描述

建筑业
在这里插入图片描述

房地产业
在这里插入图片描述

批发和零售业
在这里插入图片描述

教育
在这里插入图片描述

无
在这里插入图片描述

水利、环境和公共设施管理业
在这里插入图片描述

电力、热力、燃气及水生产和供应业
在这里插入图片描述

采矿业
在这里插入图片描述

分析模板分类方法的有效性

该实验的背景是，我们当初在设计数据库模型时参考了行业的标准设计的数据库表，以及每个表中的各个字段，并且字段中分为了固定字段和可变字段，现在需要检验我们所设计的固定字段是有效的，是这些标准文件中所必要的，且是完备的。
因此我们设计了这个实验，扫描提取出的表单模版，判断我们数据库中的固定字段是否在表单模版中都存在，并且需要统计出这些表单模版中共有的字段，判断我们数据库中的固定字段是否都涵盖了，从而可以从两个方向验证我们人为设定的固定字段的合理性。
我们所设定好的固定字段如下：

  • 设备设施清单
    “检查项目”,“检查项目/作业步骤”,“检查项目（危险源）”,“危险源”
    “标准”
    “不符合标准情况及后果”,“主要后果”
    “管控措施”,“现有控制措施”,“现有安全控制措施”,“建议改正/控制措施”
  • 作业活动清单
    “危险源或潜在事件”,“危险源或潜在事件（人、物、作业环境、管理）”
    “作业步骤”,“作业步骤（危险源）”,“作业步骤（名称）”,“作业步骤名称”
    “可能发生的事故类型及后果”,“主要后果”,“可能导致的事故特征及后果”
    “管控措施”,“现有管控措施”,“现有控制措施”,“控制措施”

实验结果

  • 经过实验得出结果，设备设施清单中包含我们设定好的固定字段的表单模板有67%，作业活动清单中包含我们设定好的固定字段的表单模板有72%。暂时还不清楚剩下的为何不包含，待分析
  • 经过实验得出结果

阅读相关论文进展

领域：查询如何判断表头结构相似度

论文：

A study on machine learning techniques for the schema matching network problem

Diego Rodrigues & Altigran da Silva
Journal of the Brazilian Computer Society volume 27, Article number: 14 (2021-11-23)

COMA: a system for flexible combination of schema matching approaches

Do H-H, Rahm E (2002)
被引量：1621
Proceedings of the 28th International Conference on Very Large Data Bases
VLDB/SIGMOD是数据库领域最顶级的两个会议，每年收录加起来也就小几百篇。

问题描述：

模式匹配是查找两个给定数据库模式的元素（或属性）之间的语义对应关系的任务。
模式匹配任务主要其实是对于在电子商务、地理空间、生物学、健康等领域实现数据集成和系统互操作性至关重要。
重点是用于数据集成中。

问题情况：

由于许多原因，模式匹配任务具有挑战性。
首先，模式元素，例如表示相同概念的属性，在不同的模式中可能具有不同的名称。
另一方面，具有相似名称的元素可能指代不同的概念。
此外，两个模式中的等效元素可能具有不同的结构。最后，可能存在这样一种情况，其中一个模式中的许多元素表示由另一个模式中的单个元素表示的概念。

有哪些解决方案：

  • 传统上，模式匹配任务由对模式及其领域具有广泛知识的专家手动执行。然而，即使对于专家来说，这项任务也可能是耗时、昂贵且容易出错的。
  • 多年来，已经开展了几项研究计划来处理模式匹配，从而发表了几篇论文 [COMA] ，并提供了几个原型和商业系统。许多这些方法依赖于一组预定义的步骤和参数。
  • 其他人则依靠机器学习为每个匹配任务创建特定模型。但是机器学习需要有大量的训练数据可用，这可能很难获得。

那些解决方案效果怎么样：

COMA等启发式方法被广泛使用，因为它们易于实现和执行。它们通常运行得很快并生成大量正确的匹配项。

可以把哪个用到我们项目中：

  • 专家模式人为判断是否相似
  • 采用和COMA等方式类似的原理：相似度计算（Levenshtein 距离函数）
    通常我们会先通过机器的方式计算出是否相似然后再让专家review

具体步骤

模式匹配是在两个模式的元素之间找到语义对应的任务。模式可以来自已知在同一域中的任何不同的异构数据源（例如，数据库模式、XML DTD、HTML 表单标签等）[ 23 ]。此任务是任何数据集成过程的第一步，因为它会连接两个不同的数据源 [ 6 ]。

尽管多年来提出了几种原型和方法来解决这一任务，但目前还没有一种方法被认为完全解决了这个问题。此外，为了保证匹配结果的质量，通常需要专家在执行方法后查看答案。

通常，模式匹配方法应用一个或多个函数来建立模式中元素对之间的相似性值。每对被称为匹配候选者。这些称为matchers的函数接收两个元素作为输入，并估计 0 和 1 之间的相似度值。值越高，元素越相似。匹配器可以使用几种不同的策略来估计相似性，例如，比较模式元素名称、它们使用同义词库的语义相似性、它们的数据类型、基数，甚至是可用的数据值。

表 1显示了由著名的 Levenshtein 距离函数 [ 24 , 25 ]生成的相似度值的示例。

  • Wagner RA, Fischer MJ (1974) The string-to-string correction problem. J ACM 21(1):168–173.被引量：4366
  • Miller FP, Vandome AF, McBrewster J (2009) Levenshtein distance. VDM Publishing, Saarbrucken.被引量：
  • The Levenshtein distance is a lexic similarity between two strings. Given two strings s and t, their similarity is the ratio of their edit distance by the size of the bigger string
    在此示例中，如果方法选择在该相似性矩阵中应用阈值 0.7，则将选择的唯一匹配候选者是 < search , searchForm.search >。作为另一个例子，一种方法可以对所有相似性进行排序并从矩阵中选择前k个值。对于k =2，此策略将允许选择匹配项 < search.field-keywords、 searchForm.keyword > 和 < search.field-title、 searchForm.shortTitle >。
    在这里插入图片描述

如何用到我们项目中：

通过 Levenshtein 距离函数计算不同表单模版之间的相似度，设定好一个阈值，判断这两个表单模版中差异字段是否只是因为同一概念的不同叫法。

开展实验判断效果：

构建数据集

分别构建设备设施风险分级管控数据集和作业活动风险分级管控数据集

按照如下表所示的表结构整理设备设施风险分级管控数据集

逐个扫描表单文件中的表头信息，通过如下映射关系映射到我们定义好的表结构中。

  • 风险点中的类型->风险点中的类型

  • 风险点中的名称->风险点中的名称

  • 风险点中的序号或者编号->风险点中的序号

  • 检查项目/检查项目（危险源）中的名称->设备设施名称

  • 标准/检查标准/不符合标准情况->标准

  • 不符合标准情况及后果/主要后果/事故后果/可能导致的事故特征及事故后果/不符合标准情况可能导致的事故特征及后果->可能发生的事故类型及后果

  • 管控措施/现有管控措施/控制措施/现有控制措施/现有安全控制措施中的
    工程技术措施/工程技术/工程控制->工程技术措施
    管理措施->管理措施
    培训教育措施/培训教育->培训教育措施
    个体防护措施/个体防护->个体防护措施
    应急处置措施/应急处置->应急处置措施

  • 建议新增（改进）措施
    在这里插入图片描述
    经过分析发现有些提取出的表单中缺失部分列的信息，比如有些表单就没有写明风险点的类型和名称，这种情况下填充为空即可。

按照如下表所示的表结构整理作业活动风险分级管控数据集

逐个扫描表单文件中的表头信息，通过如下映射关系映射到我们定义好的表结构中。

  • 风险点中的类型->风险点中的类型

  • 风险点中的名称->风险点中的名称

  • 风险点中的序号或者编号->风险点中的序号

  • 作业步骤/作业步骤（危险源）中的名称->作业步骤名称

  • 危险源或潜在事件/危险源或潜在事件（人、物、作业环境、管理）/标准/危险源或潜在事件->危险源或潜在事件

  • 可能发生的事故类型及后果/主要后果->可能发生的事故类型及后果

  • 管控措施/现有管控措施/控制措施/现有控制措施/现有安全控制措施中的
    工程技术措施/工程技术/工程控制->工程技术措施
    管理措施->管理措施
    培训教育措施/培训教育->培训教育措施
    个体防护措施/个体防护->个体防护措施
    应急处置措施/应急处置->应急处置措施

  • 建议新增（改进）措施
    在这里插入图片描述

43581143
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 用三行代码提取PDF表格数据
09-18
主要介绍了Python 用三行代码提取PDF表格数据,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python批量提取PDF中的表格到Excel文档
10-13
使用python批量读取PDF中的表格数据并写入Excel文档 实现思路： 使用os、pdfplumber、openpyxl模块实现 os ：用于获取pdf文件 pdfplumber ：用于操作pdf文件 openpyxl ：用于操作excel文件 实现步骤： 1、获取PDF...
学姐写毕业论文，图表在PDF上，复制下来格式全乱，头疼了一晚，幸亏有我
微信号：RunsenLiu
05-25 1万+
最近认识了一位漂亮同级的学姐，当学姐确定研究生录取的那一刻，以为即将走上人生巅峰
Python 实战 | 从 PDF 中提取（框线不全的）表格
weixin_55633225的博客
03-05 1252
camelot-py 使用了一种名为 Lattice 的算法，基于文本的近似排列来解析表，由此实现无框线（或框线不全）表格的解析。
Java 读取PDF中表格的工具
u012998680的博客
02-28 9809
目录 1、方法1：Spire.PDF 1.1 Maven仓库下载导入 1.2 读取PDF中的表格 1.2.1 代码 1.2.2 表格内容​ 1.2.3 读取结果 2、方法2：Tabula 2.1 Maven仓库下载导入 2.2 读取PDF中的表格 2.2.1 代码 2.2.2 表格内容 2.2.3 抽取结果 3、终极大杀器：pdfbox 3.1 Maven仓库下载导入 3.2 读取PDF中的表格 3.2.1 代码 3.2.2 表格内容 3.2.3 抽取结果 4、总结 .
通过Python的pdfplumber库提取pdf中表格数据
业余python爱好者
05-28 3422
通过Python的pdfplumber库提取pdf中表格数据。
【Python实际使用】Python提取pdf中的表格数据输出到excel(含代码实例)
移动的130
08-10 656
最近看资料发现python有很多库都可以完成pdf中的表格数据抓取，选择其中一种尝试
手把手教你用Python提取PDF中的表格
热门推荐
m0_59236127的博客
01-31 2万+
前言 pdfplumber 是一个开源的 python 工具库 ，它可以轻松的获取 PDF 文本内容、标题、表格、尺寸等各种信息，今天来介绍如何使用它来提取 PDF 中的表格。 安装 首先通过下面命令安装 pdfplumber 模块。 pip install pdfplumber 或是使用豆瓣镜像源安装。 pip install -i https://pypi.douban.com/simple pdfplumber 案例 这里有一份2020年中国大学生计算机设计大赛参赛作品获奖名单，文件为 PDF 格
python实现PDF中表格转化为Excel的方法
weixin_68789096的博客
07-19 5450
随着科技的发展和数字化的普及，PDF作为一种通用的电子文档格式，已经成为了我们生活和工作中不可或缺的一部分。但是，PDF文档中的表格往往不能直接编辑或复制，给数据的提取和处理带来了很大的困难。因此，将PDF中的表格转化为Excel表格，成为了很多人需要解决的问题。本文将介绍Python实现PDF中表格转化为Excel的方法。
Python提取pdf中的表格数据（附实战案例）
m0_64336780的博客
10-26 8415
今天给大家介绍一个Python使用工具，那就是从pdf文件中读取表格数据，主要用到第三方库pdfplumber。pdfplumber是一款基于pdfminer，完全由python开发的pdf文档解析库，不仅可以获取每个字符、矩形框、线等对象的具体信息，而且还可以抽取文本和表格。目前pdfplumber仅支持可编辑的pdf文档。
【办公自动化】使用Python一键提取PDF中的表格到Excel
m0_64336780的博客
08-05 1万+
从PDF文件获取表格中的数据，也是日常办公容易涉及到的一项工作。一个一个复制吧，效率确实太低了。用Python从PDF文档中提取表格数据，并写入Excel文件，灰常灰常高效。上市公司的年报往往包含几百张表格，用它作为例子再合适不过，搞定这个，其他含表格的PDF都是小儿科了。今天以"保利地产年报"为例，这个PDF文档中有321页含有表格，总表格数超过这个数了。
干货| 使用Python提取PDF表格数据
白帽阿叁的博客
12-15 1348
然而，对于想要从 PDF 中提取信息的人们来说，PDF 是个噩梦，尤其是表格。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
Python一键提取PDF中的表格到Excel
01-28
Python一键提取PDF中的表格到Excel
python提取pdf中表格数据并保存到excel中
08-06
下载后该文件后，在python环境中，直接运行pdf_test.py脚本，输入需要提取的pdf文件详细路径，即可将pdf中的表格数据转换为excel文件，并保存到本地。
python提取PDF中的文本、图片和表格
09-23
2.py文件中处理表格的代码，需要确保pdf中的表格是有边框的 3.py文件除了常规函数，也用thinker写了一个简单界面。 如果遇到问题，可以留言或者b站评论私信，看到就会回复 具体使用效果参考视频： 【【08】python...
Python从PDF中提取表格
01-04
使用Python的pdfplumber模块从PDF指定的各个页面中提取对应的表格，全部存入pandas的DataFrame中。将表格中不关注的行列删除后，保存到Excel电子表格中。 源码将STM32规格书中指定封装的引脚表提取到Excel中，方便...
【编译程序介绍】
武帝为此的博客
04-22 1176
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 514
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（十五）
最新发布
龙哥盟
04-24 698
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
python提取pdf中的表格
06-07
要从PDF中提取表格，可以使用Python中的第三方库`tabula`。下面是一个简单的例子： 1. 安装`tabula`库： ```python !pip install tabula-py ``` 2. 导入库并指定PDF文件路径和表格位置： ```python import tabula # 读取PDF文件中第一页的表格 df = tabula.read_pdf("path/to/pdf", pages=1, area=[126,149,212,587]) ``` 其中，`pages`参数指定要读取的PDF页数，`area`参数指定表格的位置，以左上角和右下角坐标表示。 3. 将表格转换为DataFrame对象并输出： ```python # 将表格转换为DataFrame对象 df = df[0] # 输出表格 print(df) ``` 这样就可以从PDF文件中提取表格了。需要注意的是，`tabula`库对表格的识别依赖于表格在PDF中的排版和格式，可能会有一些误识别的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值