python pdfplumber优化表格提取

最新推荐文章于 2024-08-29 19:30:55 发布
最新推荐文章于 2024-08-29 19:30:55 发布
阅读量440 收藏 1
点赞数 3
文章标签： python windows 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dandanforgetlove/article/details/140155863
版权

样例pdf

直接使用文本提取效果：

使用表格提取

 

根据提取的文本信息是没办法获取到表格数据的，太乱了。尤其是 3 4列。

解决：

自行画线，根据画线进行提取。

效果：

思路：

1.根据表头进行画竖线

2.根据行坐标画横线

3.根据坐标放入单元格的list中

4.拼接单元格文字。

问题：

根据表头画竖线，可能内容超出表头左右坐标。

解决办法：根据内容进行特殊匹配。

#!/usr/bin/python
# -*- coding: utf-8 -*-
import re
import pdfplumber
import logging as log


class PDF(object):
    file_path = None
    config = {}
    bill_date_begin = None
    bill_date_end = None
    parse_data = []
    unit = None
    trans_during = None

    def __new__(cls, *args, **kwargs):
        return super().__new__(cls)

    def parse(self):
        try:

            with pdfplumber.open(self.file_path) as pdf:
                page_ind = 1
                log.info(" 发现总页数:{}".format(str(page_ind)))

                for index, page in enumerate(pdf.pages):
                    print(" 第 " + str(page_ind) + " 页: ")
                    page_ind += 1

                    explicit_vertical_lines = []
                    explicit_horizontal_lines = []

                    explicit_horizontal_lines_y_line = []
                    explicit_horizontal_lines_h_line = []
                    explicit_horizontal_lines_keys = []
                    lines_dict = {}
                    table_begin = False

                    ts_y_list = {"jyzy": {"y": [-1, -1]}}
                    table_top = None
                    for ind, char in enumerate(page.chars):
                        next3Text = ""
                        if ind <= (len(page.chars) - 3):
                            next3Text = page.chars[ind]["text"] + page.chars[ind + 1]["text"] + page.chars[ind + 2]["text"]
                            if next3Text.find("交易日") > -1:
                                table_begin = True

                        if table_begin is False:
                            continue

                        if ind >= 2:
                            text = page.chars[ind - 2]["text"] + page.chars[ind - 1]["text"] + page.chars[ind]["text"]
                            if text.find("易日期") > -1 or text.find("出金额") > -1 or text.find("入金额") > -1 or text.find("户余额") > -1 or text.find("账标识") > -1 or text.find("户序号") > -1:
                                # print(text)
                                lines_dict = char
                                explicit_vertical_lines.append({
                                    "x0": lines_dict["x1"] + 2,
                                    "x1": lines_dict["x1"] + 2,
                                    "y0": lines_dict["y0"],
                                    "top": lines_dict["top"] - 5,
                                    "bottom": lines_dict["bottom"] + 700,
                                    "height": lines_dict["height"],
                                    "orientation": "v",
                                    "object_type": "line",
                                    "page_number": index
                                })
                                table_top = lines_dict["top"] - 5
                                explicit_horizontal_lines_h_line.append(lines_dict["x1"] + 2)

                            elif text.find("交易日") > -1:
                                # print(text)
                                lines_dict = page.chars[ind - 2]
                                put_dic = {
                                    "x0": lines_dict["x0"] - 8,
                                    "x1": lines_dict["x0"] - 8,
                                    "y0": lines_dict["y0"],
                                    "top": lines_dict["top"] - 5,
                                    "bottom": lines_dict["bottom"] + 700,
                                    "height": lines_dict["height"],
                                    "orientation": "v",
                                    "object_type": "line",
                                    "page_number": index
                                }

                                explicit_vertical_lines.append(put_dic)
                                explicit_horizontal_lines_h_line.append(lines_dict["x0"] - 8)
                            elif text.find("被冲账") > -1:
                                # print(text)
                                lines_dict = page.chars[ind - 2]
                                explicit_vertical_lines.append({
                                    "x0": lines_dict["x0"] - 1,
                                    "x1": lines_dict["x0"] - 1,
                                    "y0": lines_dict["y0"],
                                    "top": lines_dict["top"] - 5,
                                    "bottom": lines_dict["bottom"] + 700,
                                    "height": lines_dict["height"],
                                    "orientation": "v",
                                    "object_type": "line",
                                    "page_number": index
                                })
                                explicit_horizontal_lines_h_line.append(lines_dict["x0"] - 8)

                            # 竖线修复
                            if text.find("易摘要") > -1 or text.find("对方户") > -1:
                                if text.find("易摘要") > -1:
                                    ts_y_list["jyzy"]["y"][0] = char["x1"] + 2
                                    # ts_y_list["jyzy"]["y"][0] = char["x1"] + char["x1"] - char["x0"]
                                elif text.find("对方户") > -1:
                                    ts_y_list["jyzy"]["y"][1] = page.chars[ind-2]["x0"] - 1
                                    ts_y_list["jyzy"]["mid"] = page.chars[ind-2]

                            # 判断是否添加过该横线
                            if char["y0"] not in explicit_horizontal_lines_keys:
                                text = page.chars[ind - 2]["text"] + page.chars[ind - 1]["text"] + page.chars[ind]["text"]
                                if text.find("标识T") > -1 or text.find("leA") > -1:
                                    explicit_horizontal_lines_keys.append(char["y0"])
                                    continue

                                # 特殊竖线,根据表头坐标和内容坐标对比，取最左的那一个作为竖线的坐标
                                if ts_y_list["jyzy"]["y"][0] != -1 and ts_y_list["jyzy"]["y"][1] != -1 and char["x0"] > ts_y_list["jyzy"]["y"][0] and char["x1"] < ts_y_list["jyzy"]["y"][1]:
                                    if "mid" in ts_y_list["jyzy"].keys():
                                        if ts_y_list["jyzy"]["mid"]["x0"] > char["x0"]:
                                            ts_y_list["jyzy"]["mid"] = char
                                    else:
                                        ts_y_list["jyzy"]["mid"] = char

                                lines_dict_h = char

                                if text.find("ag2") > -1:
                                    explicit_horizontal_lines.append({
                                        "x0": 579,
                                        "x1": lines_dict_h["x1"] - 15,
                                        "y0": lines_dict_h["y0"],
                                        "y1": lines_dict_h["y1"],
                                        "top": lines_dict_h["bottom"] + 5,
                                        "bottom": lines_dict_h["bottom"] + 5,
                                        "height": lines_dict_h["height"],
                                        "width": lines_dict_h["width"],
                                        "orientation": "h",
                                        "object_type": "line",
                                        "page_number": index
                                    })
                                    explicit_horizontal_lines_y_line.append(lines_dict_h["bottom"] + 5)
                                elif next3Text.find("交易日") > -1 or (text.find("交易日") > -1 and index > 0):
                                    explicit_horizontal_lines.append({
                                        "x0": 579,
                                        "x1": lines_dict_h["x1"] - 15,
                                        "y0": lines_dict_h["y0"] if index == 0 else (lines_dict_h["y0"] - 5),
                                        "y1": lines_dict_h["y1"],
                                        "top": lines_dict_h["top"] - 5,
                                        "bottom": lines_dict_h["top"] - 5,
                                        "height": lines_dict_h["height"],
                                        "width": lines_dict_h["width"],
                                        "orientation": "h",
                                        "object_type": "line",
                                        "page_number": index
                                    })
                                    explicit_horizontal_lines_y_line.append(lines_dict_h["top"] + 5)
                                else:

                                    if lines_dict_h["x1"] > 200:
                                        continue

                                    # 正常行数据添加横线
                                    explicit_horizontal_lines.append({
                                        "x0": 579, # 横线长度
                                        "x1": lines_dict_h["x1"] - 12,
                                        "y0": lines_dict_h["y0"],
                                        "y1": lines_dict_h["y1"],
                                        "top": lines_dict_h["bottom"] + 5,
                                        "bottom": lines_dict_h["bottom"] + 5,
                                        "height": lines_dict_h["height"],
                                        "width": lines_dict_h["width"],
                                        "orientation": "h",
                                        "object_type": "line",
                                        "page_number": index
                                    })
                                    explicit_horizontal_lines_y_line.append(lines_dict_h["bottom"] + 5)

                                explicit_horizontal_lines_keys.append(char["y0"])

                    for k, v in ts_y_list.items():
                        if "mid" in v.keys() and v["mid"]["x0"] != -1:
                            lines_dict = v["mid"]
                            explicit_vertical_lines.append({
                                "x0": lines_dict["x0"] -8,
                                "x1": lines_dict["x0"] -8,
                                "y0": lines_dict["y0"],
                                "top": table_top,
                                "bottom": lines_dict["bottom"] + 700,
                                "height": lines_dict["height"],
                                "orientation": "v",
                                "object_type": "line",
                                "page_number": index
                            })
                            explicit_horizontal_lines_h_line.append(lines_dict["x0"] - 1)

                    page.curves.clear()
                    page.lines.clear()
                    # 赋值画线
                    page.objects['line'] = explicit_vertical_lines + explicit_horizontal_lines

                    explicit_horizontal_lines_h_line.sort()

                    line_text = []
                    # 根据横线坐标 & 纵线坐标 ，判断单元格
                    for ind, y in enumerate(explicit_horizontal_lines_y_line):
                        if (ind + 1) == len(explicit_horizontal_lines_y_line):
                            continue

                        # 单元格内容组装
                        def get_this_cell_text(y, next_y):
                            this_y_line = []
                            for char in page.chars:
                                if char["bottom"] > y and char["bottom"] < next_y:
                                    this_y_line.append(char)

                            cell_list = []
                            for ind_h, h in enumerate(explicit_horizontal_lines_h_line):
                                if (ind_h + 1) == len(explicit_horizontal_lines_h_line):
                                    continue

                                next_h = explicit_horizontal_lines_h_line[ind_h+1]
                                cell_text = ""
                                for char in this_y_line:
                                    if char["x0"] > h and char["x0"] < next_h:
                                        cell_text += char["text"]

                                cell_list.append(cell_text)
                            return cell_list

                        next_y = explicit_horizontal_lines_y_line[ind + 1]
                        this_cell_text = get_this_cell_text(y, next_y=next_y)
                        line_text.append(this_cell_text)

                    # im = page.to_image()
                    # im.draw_rects(page.extract_words())
                    # im.draw_vline(location, stroke={color}, stroke_width=1)
                    # im.save("aa.png')

                    # 合并解析的数据
                    self.parse_data = self.parse_data + line_text

            # 开始进行数据格式化
            data_list = []
            head_index = {'交易日期': -1, '账户序号': -1, '收入金额': -1, '支出金额': -1, '账户余额': -1, '交易摘要': -1, '对方户名': -1,
                          '被冲账标识': -1}
            isTableRow = True
            for ind, line in enumerate(self.parse_data):

                if ind == 0:
                    for ind_c, cell in enumerate(line):
                        for k, v in head_index.items():
                            if cell.find(k) > -1:
                                head_index[k] = ind_c

                    continue

                if "".join(s for s in line).find("第") > -1 and "".join(s for s in line).find("页") > -1:
                    continue
                if "".join(s for s in line).find("交易日期Transactiodate") > -1 and "".join(s for s in line).find("账户序号nAccountSeqNo") > -1:
                    continue

                if line[0] == "":
                    continue

                if "".join(s for s in line).find("声明：") > -1:
                    isTableRow = False

                if isTableRow is False:
                    continue

                value_dict = {}
                for k, v in head_index.items():
                    value_dict[k] = line[head_index[k]]
                # print(value_dict)

                currency = ""
                amount = value_dict["收入金额"].replace(" ", "") if value_dict["收入金额"] != "" else value_dict["支出金额"].replace(" ", "")
                balance_v = value_dict["账户余额"].replace(" ", "")

                if balance_v is not None and len(balance_v) > 0:
                    balance_v = balance_v.replace(currency, "")

                amount = amount.replace(currency, "")

                data_one = {"trans_remark": value_dict["交易摘要"],
                            "currency": self.unit,
                            "trans_date":value_dict["交易日期"],
                            "trans_amount": amount,
                            "balance": balance_v,
                            "trans_place": '',
                            "opponent_mess": value_dict["对方户名"]}

                data_list.append(data_one)

            import json
            print(json.dumps(data_list, ensure_ascii=False))
            self.parse_data = data_list
        except FileNotFoundError:
            raise FileNotFoundError
        except:
            raise Exception


PDF(None, "3.pdf", "123432", {}).parse()

dandanforgetlove
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python使用pdfplumber直接提取PDF文本内容
北辰
08-19 2343
前提：提取的文件必须是应用服务生成PDF文件，而非扫描的pdf文档，当前pdfplumber的版本为0.5.28 该开源包在github上面的地址：https://github.com/jsvine/pdfplumber 第一步：在服务应用的终端中使用下述命令安装pdfplumber包 poetry add pdfplumber 在输入了上述命令后，会在终端中弹出下述相关安装信息 PS D:\Code\python\poetry-demo> poetry add pdfplumber .
每天一个小实例——使用pdfplumber提取pdf表格及文本，并保存到excel
aquariusz_crybaby的博客
01-13 5924
每天一个小实例——使用pdfplumber提取pdf表格及文本，并保存到excel
python使用pdfplumber从pdf文件中获取表格信息
weixin_39772782的博客
01-19 1666
python使用pdfplumber从pdf文件中获取表格信息，
Python笔记九：用三方库pdfplumber批量提取PDF表格并存入Excel
m0_64880493的博客
09-02 1384
Python还有不少库可以处理pdf,如PyPDF2、pdfminer，选择pdfplumber的原因在于可以轻松访问PDF的详细信息。且用于提取文本与表格的方法灵活可定制。
Python pdfplumber库：轻松解析PDF文件
engchina的专栏
07-05 1799
Python pdfplumber库：轻松解析PDF文件
PDFPlumber：从PDF文件提取文字和表格的Python库.pdf
04-21
pdf格式存在的，比如：论文，技术文档，标准文件，书籍等。pdf格式使机器提取信息格外困难。 pdf的文本和表格处理用多种方式可以实现， 本文介绍pdfplumber对文本和表格提取。这个库在GitHub上星600多，不过使用起来很方便， 效果也很好，可以满足对pdf中信息的提取需求。
PDFPlumber使用入门
热门推荐
weixin_48629601的博客
07-09 4万+
文章目录背景环境教程开始应用场景安装命令行使用可选参数Python包简单样例读取PDFpdfplumber.PDF类pdfplumber.Page类 背景 最近需要一个工具来解析PDF文件，获取其文本内容、标题、表格等，在GitHub上发现了这个神仙工具，发现用起来还挺方便的。在这里做一个简单的介绍，帮助一些想入门的英文不好的 同学。 环境 macOS 10.14 PDFPlubmer v0.5.21 python>=3.5 教程开始 首先附上GitHub链接：https://github.com/j
python pdfplumber提取表格
05-13
使用pdfplumber提取表格可以分为以下几个步骤： 1. 导入pdfplumber模块 ```python import pdfplumber ``` 2. 打开PDF文件 ```python with pdfplumber.open("example.pdf") as pdf: # 处理PDF文件 ``` 3. 获取...
python pdfplumber提取表格代码
05-13
下面是使用pdfplumber模块提取表格的示例代码： ```python import pdfplumber # 载入PDF文件 with pdfplumber.open("example.pdf") as pdf: # 载入第一页 page = pdf.pages[0] # 获取页面中的所有表格 tables ...
python批量提取PDF中的表格到Excel文档
10-13
使用python批量读取PDF中的表格数据并写入Excel文档 实现思路： 使用os、pdfplumber、openpyxl模块实现 os ：用于获取pdf文件 pdfplumber ：用于操作pdf文件 openpyxl ：用于操作excel文件 实现步骤： 1、获取PDF...
pdfplumber:插入PDF以获取有关每个字符，矩形，直线等的详细信息-并轻松提取文本和表格
05-10
pdf水暖工 插入PDF以获取有关每个文本字符，矩形和行的详细信息。 加：表提取和可视调试。 在机器生成的而非扫描的PDF上效果最佳。 建立在 。 目前已在上。 要报告错误或请求功能，请。 要提出问题或请求特定PDF的帮助，请。 目录 安装 pip install pdfplumber 命令行界面 基本例子 curl " https://raw.githubusercontent.com/jsvine/pdfplumber/stable/examples/pdfs/background-checks.pdf " > background-checks.pdf pdfplumber background-checks.csv 输出将是CSV，其中包含有关PDF中每个字符，行和矩形的信息。 选项 争论 描述 --format [fo
pdf 转换 提取表格 (国内最强大没有之一)
12-05
pdf 转换 提取表格 (国内最强大没有之一的转换提取软件)
tabula-extractor, 从PDF文件中提取表格.zip
09-18
tabula-extractor, 从PDF文件中提取表格 Tabula提取器( 旧版本)注意：Deprecation Deprecation: 这是Tabula提取引擎的旧版。 希望集成补丁的新项目应该使用 Tabula Java ( 这个提取引擎的新Java版本)，除非你喜欢使用 JRuby
提取PDF表格数据
qq_44735382的博客
05-06 786
利用python 中的camelot库可以提取基于文本的PDF表格数据，（注意扫描版的则不能，基于文本的是指可以在该PDF文档上选取文本，而扫描版的PDF为图像格式） 关键词read_pdf 可以读取PDF文件 plot(tables[0],kind=‘text’) 关键词plot可以绘制表格轮廓，其中kind参数可以定义为 1.text 可显示所有文本，在图片上移动可以记录每个文本的坐标 2....
[杂谈] 从PDF文件中进行表格抽取(tabula || paddle-pp-structure)
alexgaoyihang的专栏
04-09 673
近期遇到了需要从电子文档中进行内容提取的任务，具体来说就是期望从PDF文件中进行表格抽取，本文主要介绍和的两种方案。采用 tabula-java 进行 pdf 中表格提取的话，对表格的形式有要求，类似三线表的提取，质量不高。采用 paddlepaddle 的 pp-structure 进行表格提取的话，可以解决 tabula-java 的不足，产业应用的话需要再包一层外部接口。
Python使用pdfplumber获取PDF所需信息
m0_57446978的博客
12-19 758
首先需要安装两个模块，第一个是pdfplumber，在命令行使用pip安装即可。第二个是fitz, 它是pymupdf中的一个模块，同样可以使用pip轻松安装。4、利用.extract_tables()方法提取当前页的文字。5、利用.extract_table()方法提取当前页的文字。3、利用.extract_text()方法提取当前页的文字。1、利用pdfplumber打开一个 PDF 文件。使用python提取PDF中文字代码思路如下。2、获取指定的页，或者遍历每一页。
如何将PDF中的表格读取出来，并写入EXCEL？30行代码搞定
SeizeeveryDay的博客
07-23 4391
现在，各类数据分析的书籍，都可以在网上找到PDF版本；同时，百度文库、各类数据统计文库、行业研究等众多论文报告，是通过PDF的形式去展示输出的；但是，令人都头疼的是，各类数据分析书中，P...
【python】关于判断空值None、判断len()=0，和 if not 的区别
Meggie35的博客
08-28 7430
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
爬取长篇小说：选择何种IP策略最佳？
最新发布
KookeeyLena5的博客
08-29 480
在爬取长篇小说时，选择合适的IP策略至关重要。根据目标网站的反爬虫机制、请求频率限制以及爬取需求的不同，可以选择静态IP、动态IP、住宅IP或数据中心IP等不同类型的IP地址。同时，使用代理服务器或VPN等工具可以进一步提高爬取的稳定性和效率。在爬取过程中，应遵循最佳实践，确保爬取行为的合法性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值