使用 Python 处理 pdf
背景
最近老婆工作中碰到一些困难，总是跟我抱怨工作好烦，不开心。
主要是是因为要处理一些报告，这些 pdf 格式的样本报告比较多，基本都是人工操作比较容易出错，也比较琐碎，好心情都被磨没了。
然后我说要么写个小程序吧，帮你处理这些琐碎的工作，然后就大概梳理了一下主要需求：
内部报告：
首先需要从系统出导出一个大的 pdf，包含很多小的 pdf
每个小的 pdf 报告中包含一些信息，比如 报告标题、姓名、编号、医院、总页数
拿到这些信息之后，分割大的 pdf，将小的 pdf 报告剥离处理
然后重命名这些报告，格式为 姓名-编号.pdf
将这些报告移动到对应医院的目录下，然后将这些医院目录压缩
外部报告：
外部会发过来压缩包，其中包含单个的 pdf 报告
解压缩后将报告拿出来，提取其中的信息，信息基本同内部报告
重命名
移动到对应的医院目录下，并压缩
实现
人生苦短，我用python。
嗯，python大法好，处理这些琐碎的事情写个 python 脚本跑一下不就好了吗。
python 版本使用的python 3.x。
梳理了下输球，首先需要解析大 pdf 中的一些关键信息，转化为我们需要的报告信息，首先写个Model叫做 Sample，包含 title、number、name、total_page、hospital 等等，然后依次解析 pdf 生成组成 samples 列表，最后根据报告列表分割处理pdf 就好了。
解析 pdf
有个 python 库叫做 pdfminer，这个库已经不支持python 3.x 版本了，该项目注明了可以使用 pdfminer.six来支持3.x的版本。
基本语法如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44def parse_samples():
fp = open(get_origin_report_path(), 'rb') # 以二进制读模式打开
# 用文件对象来创建一个pdf文档分析器
praser = PDFParser(fp)
# 创建一个PDF文档
doc = PDFDocument()
# 连接分析器 与文档对象
praser.set_document(doc)
doc.set_parser(praser)
# 提供初始化密码
# 如果没有密码 就创建一个空的字符串
doc.initialize()
# 检测文档是否提供txt转换，不提供就忽略
if not doc.is_extractable:
raise PDFTextExtractionNotAllowed
else:
# 创建PDf 资源管理器 来管理共享资源
rsrcmgr = PDFResourceManager()
# 创建一个PDF设备对象
laparams = LAParams()
device = PDFPageAggregator(rsrcmgr, laparams=laparams)
# 创建一个PDF解释器对象
interpreter = PDFPageInterpreter(rsrcmgr, device)
# 循环遍历列表，每次处理一个page的内容
for page in doc.get_pages(): # doc.get_pages() 获取page列表
number_index = 0
name_index = 0
sample = Sample()
interpreter.process_page(page)
# 接受该页面的LTPage对象
layout = device.get_result()
# 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，
for index, out in enumerate(layout):
# if hasattr(out, "get_text"):
# if (isinstance(out, LTTextBoxHorizontal)):
if (isinstance(out, LTTextBox)):
with open(get_log_path(), 'a') as outfile:
results = out.get_text().replace(u'\xa0', u' ')
parse()
...
....
官网给出的 layout 布局
我们主要拿其中的文本信息，所以拿到每一页 pdf 的LTPage后，遍历其中的包含 text 属性的控件就好了，拿到文本信息，根据正则匹配到关心的文本信息，赋值给新建的sample，依次循环，最后组成 samples 报告列表给后面使用。
解析完了后就需要处理 pdf 了。
分割 pdf
首先要做的是将大的 pdf 分割成小的 pdf，搜了下分割 pdf 有个python 库叫做 PyPDF2，参考API 写了一个工具方法用来分割 pdf。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19def split_pdf(infn, outfn, start_page, end_page):
"""
分割pdf文档，如果需要的话
:param infn: 源报告目录
:param outfn: 分割后输出文档目录
:param start_page:
:param end_page:
:return:
"""
pdf_output = PdfFileWriter()
pdf_input = PdfFileReader(open(infn, 'rb'))
# 获取 pdf 共用多少页
page_count = pdf_input.getNumPages()
# 将 pdf 的分割页面，输出到一个新的文件
for i in range(start_page, end_page):
pdf_output.addPage(pdf_input.getPage(i))
pdf_output.write(open(outfn, 'wb'))
print('---分割pdf完毕--')
根据第一步得出的 samples，循环一下拿出其中的total_page，依次分割就好了。
最后就是重命名、移动、压缩，不写了。
打包成 exe 可执行文件
老婆使用的是 Windowns，所以最后要打包成 .exe 可执行文件，搜了下 pyinstaller 可以解决，但是还是需要在对应的平台才能打出对应平台的可执行文件，可就是说想要打出 .exe 必须在 Windows 下打包，这就有点蛋疼了。然后弄了一下，发现 Windows 用来做开发真的是难用无比。
最后也没打 .exe，直接在 Windows 下装了python，双击 .py 文件好了，有bug的话替换一下文件好了，不用重新打包。
碰到的问题
项目交付老婆使用后，极其的好用，大幅提升了工作效率，减少出错概率，老婆甚至发了个朋友圈夸奖了一番，感觉美滋滋。
美了不到两天就出 bug 了。
bug是这样的，比如有个编号编号：G201802020108 正常解析出来 sample.number = G201802020108 才对，但是结果可能是这样的G20180202，后面少了几位。拿到原始的大 pdf 跑了一遍发现确实是这样，每个 pdf 在解析时我都把文本信息存了下来以便查问题用，这时派上了用场，打开看了下文本信息被这样处理了：
1
2编号：G20180202
0108
本来在一行或者说在一个 LTTextBox 中的内容被分割成了两个，所以出现了内容少的问题。
找到了问题原因就好处理了。
首先想到了一个方案，每个 LTxx 控件在当页 pdf 中的位置由坐标表示，左上角坐标是 {x0:0,y0:0, x1:0,y1:0}，只要框住了编号信息所在的坐标范围，只要在该范围内的，所有文本信息 append 一下然后再正则匹配就好了。
1
2
3
4
5
6
7
8
9
10
11
12
13
14def in_number_area(text_box):
# x0,y0,x1,y1
scope = (370, 700, 560, 740)
if in_area(text_box.bbox, scope):
print('样本编号匹配！坐标点：', text_box.bbox)
return True
return False
# 判断TextBox坐标范围是否在规定范围内
def in_area(bbox, scope):
if bbox[0] > scope[0] and bbox[1] > scope[1] and bbox[2] < scope[2] and bbox[3] < scope[3]:
return True
return False
给定固定坐标范围，找到在该坐标范围内的控件，然后再去匹配。
跑了一下确实生效了，但是问题依然没有解决，为什么呢？因为报告种类不一，导致格式就不一样，坐标范围也不一样，也就是说不能动态的找到坐标范围。该方案失败。
于是又想到了第二个方案，直接看代码吧
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17# 解析编号
if not utils.number_legal_for_internal(sample.number):
num = utils.parse_sample_num(results)
if num:
number_index = index
sample.number = num
continue
# 解决编号被分成两段的问题
if not utils.number_legal_for_internal(sample.number) and number_index and (
index == number_index + 1 or index == number_index + 2):
print('修正后的编号：')
num = utils.parse_sample_num('样本编号：' + sample.number + results)
sample.number = num
if utils.number_legal_for_internal(num):
number_index = 0
continue
...
基本解决。
其实第二个方案也不太完美，为什么呢？编号还好说，一般都是字母加数字，如果出现这个bug一般都能比较好判断是否合法，比如编号长度 >=11，但是，如果是名字呢，就没有很好的合法规则来判断，比如名字：张三丰，丰字被分割了，而合法判断是名字长度 >=2，那最后结果就是张三而不是张三丰。
所以，其实还有一个优化方案，在方案一和方案二的基础上，第一步先匹配关键字，比如姓名：，匹配到了以后再框定坐标范围，一般名字都是6字以内，编号是20位以内，划定坐标范围后将范围内的匹配控件文本信息都拿出来再一起解析。基本做到了动态判断坐标范围。
外部报告跟内部报告基本是一样的，区别是首先需要解压一下，然后解析、处理，不写了。
还有哪些可以做
前面写了怎么解析处理pdf，其实还有一部分工作也可以用脚本来处理，比如，大的pdf 下载可以通过脚本处理；处理好的 pdf 报告要通过邮件法发送给客户，也可以通过脚本处理；有时还需要把解析出的信息填到表格中，也是可以用脚本处理的。
总结下来一共有这几个功能：
爬虫，从系统中导出大的 pdf 报告
pdf 解析和分割
归类，压缩
生成表格
发送邮件
目前只做了2 和3 ，其余的有时间慢慢写。
最后
为什么写这篇文章呢？
其实用到的东西很简单，看几分钟 python 入门然后再找两个开源库就搞定了，也没必要记录什么技术知识点。
我真正想说的是一些感悟，程序员碰到这种问题一般都会想办法写一些脚本处理，没什么稀奇的。但是对于不会写程序的人来说，有这个程序和没有这个程序简直就是不一样的工作，就拿这件事来说，用了这个程序之后，我老婆的工作效率明显提升，每天能节省出1-2小时时间做别的事情，从交付那天起，基本没听过老婆再抱怨工作了。简直开心。
还有就是以前总感觉程序员这个工作对生活的帮助简直就是没啥用，比如，你看谁谁现在是医生，去医院都不用挂号，直接就能看病；谁谁是老师，孩子上学的事情根本不用愁等等诸如此类，职业除了能养活自己之外能够反哺生活，在生活中提供一些价值。反观程序员对生活上的帮助简直就是0，甚至可以说是负数。
现在是高速发展的信息时代，干什么工作都离不开手机、电脑，甚至人工智能在某些方面都开始取代人力去做一些工作，所以我觉得越来越能体现出程序员的价值，可以控制机器取代人工去做一些重复性的、机械性的工作，所以在有能力的前提下学习一些开发知识会大有裨益。就像每个人都学英语一样，在未来，编程也有可能是一门基础学科，每个人都应该掌握。
回到现在，简单的用一些简单的脚本提升生活幸福感，把这些烦人的工作交给机器去做，人类最擅长的是浪费时间，恩。
版权声明：本文为 w4lle 原创文章，可以随意转载，但必须在明确位置注明出处！
本文链接： http://w4lle.com/2018/02/02/python-pdf/
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
