python怎么读取pdf为文本_记一次为解决Python读取PDF文件的Shell操作

一、背景

本想将 PDF 文件转换为 Word 文档，然后网上搜索了一下发现有挺多转换的软件。有的是免费的、收费，咱也不知哪个好使，还得一个个安装试用。先不说能不解决问题，就这安装试用想想就脑壳疼。便想起了"Python 大法"，随即搜了几篇看起来比较完整的博客，二话不说粘贴复制，改改运行试试。使用环境(python3.6+pdfminer3k)，代码这里就不放出来了。

二、问题

运气不好，这一试就报错WARNING:root:GBK-EUC-H，然后又搜了一下有同样的报错问题，但是这篇博客没啥大用，仅仅是知道缺了相关的字体文件，通过其中的链接顺藤摸瓜找到了 github 上的字体文件列表页

https://github.com/euske/pdfminer/tree/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap

三、解决

下载了报错的对应文件 GBK-EUC-H.pickle.gz，然后将其文件解压把放置 Python 的安装目录下 Lib\site-packages\pdfminer\cmap 路径中，再次运行又报错 "pdfminer.converter:undefined: , 3027"。可以说明第一个问题已经解决了，接下来的报错按照这个方法来就行了。但是想想等下有报错还得下，索性全部下下来。

四、一顿分析及 Shell 操作

1.先网页 F12 打开控制台分析 Element 元素，Xpath 信息 "//td[@class='content']/span/a/@href"

2.使用 curl 命令获取响应并处理 (通过"检查网页源码"发现 span 标签和 a 标签同行)

先确认是否与步骤 1 中的数量一致

# 通过获取父标签信息的之后的行

curl -s https://github.com/euske/pdfminer/tree/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap | grep -A1 '

' |grep "

# 直接正则匹配到行

curl -s https://github.com/euske/pdfminer/tree/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap | grep -E '\s+

确认一致，则进行下一步数据清理，进而获得所有字体文件列表

curl -s https://github.com/euske/pdfminer/tree/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap | grep -E '\s+

3.进入某个文件详情页，分析下载请求地址

将下面链接放入地址栏，会进入文件下载操作，所以这就是文件的真实下载地址

5.开始命令行构造下载地址

curl -s https://github.com/euske/pdfminer/tree/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap \

|grep -E '\s+

"https://raw.githubusercontent.com/euske/pdfminer/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap/$line"; done

6.升级-->构造及文件下载脚本

# !/usr/bin/bash

# 参数校验

folder=$1

# 参数为空判断

[ -z $folder ] && folder="downfiles"

# 为文件且存在判断，不能重名

if [ -f $folder ]

then

echo "Error: 【$folder】 already exist！ and it's file"

exit

fi

# 不存在则创建

if [ ! -e $folder ]

then

mkdir $folder

fi

echo ""

echo "文件保存路径为: $PWD/$folder"

echo ""

# github 主页列表显示地址

listPage="https://github.com/euske/pdfminer/tree/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap"

# github 详情显示地址

# https://github.com/euske/pdfminer/blob/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap/

# github 下载按钮地址

# https://github.com/euske/pdfminer/raw/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap/

# 真实下载地址

base="https://raw.githubusercontent.com/euske/pdfminer/f1d5d681b6d2ab0ddeaea925ba784ebb94f6d509/pdfminer/cmap/"

# 模拟浏览器

userAgent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"

files=`curl -s -A "${userAgent}" $listPage | grep -E '\s+

if [ -z "$files" ]

then

echo "获取列表信息失败!!!"

exit

else

num=`echo $files| awk 'BEGIN{RS=" "}END{print NR}'`

echo "成功获取列表信息, 总共 $num"

fi

echo ""

for name in $files

do

# infos="curl -s -A \"${userAgent}\" -w %{http_code} \"$base$name\" -o $folder/$name"

sleep 1

res=`curl -s -A "${userAgent}" -w %{http_code} "$base$name" -o $folder/$name`

if [ "$res" = "200" ]

then

echo "SUCCESS: 【$name】 下载成功"

else

# echo $infos

echo "ERROR: 【$name】 下载失败--$res"

sleep 0.5

fi

done

五、后续

文件下载失败返回码为 000 ----待分析解决

python读取pdf文件

pdfplumber简介 Pdfplumber是一个可以处理pdf格式信息的库.可以查找关于每个文本字符.矩阵.和行的详细信息,也可以对表格进行提取并进行可视化调试. 文档参考https://gith ...

Python读取mdb文件以及shell检测

最近写了两个python的脚本不过实际意义不是很大,就是想练练python写程序,一直研究web方面脚本写的少多了,还有C语言也用的少多了.现在有时间得多写写程序,别把以前学到的知识给忘了. 作者: ...

Python读取PDF内容

1,引言 晚上翻看这本书,看到读取PDF内容的代码,想起来前几天集搜客刚刚发布了一个抓取网页pdf内容的抓取规则,这个规则能够把pdf内容当成html来做网页抓 ...

解决 python 读取文件乱码问题（UnicodeDecodeError）

解决 python 读取文件乱码问题(UnicodeDecodeError) 确定你的文件的编码,下面的代码将以'utf-8'为例,否则会忽略编码错误导致输出乱码 解决方案一 with open(r' ...

深入学习python解析并读取PDF文件内容的方法

这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...

PHP 与Python 读取大文件的区别

php读取大文件的方法   <?php function readFile($file) { # 打开文件 $handle = fopen($file, 'rb'); while (feof($ ...

Python绘制PDF文件~超简单的小程序

Python绘制PDF文件 项目简介 这次项目很简单,本次项目课,代码不超过40行,主要是使用 urllib和reportlab模块,来生成一个pdf文件. reportlab官方文档 http:// ...

Python读取txt文件

Python读取txt文件,有两种方式: (1)逐行读取 data=open("data.txt") line=data.readline() while line: print ...

随机推荐

在ESXi 5&period;x之间冷迁移虚机

试过几种不同的方法都不成功, 直接用VMware vCenter Converter Standalone Client迁移, 会出现task中的source与job中的source不一致的情况, 使 ...

MySQL 加锁处理分析 转

MySQL 加锁处理分析  转 http://hedengcheng.com/?p=771 十二 13th, 2013 发表评论 | Trackback   1    背景    1 1.1    M ...

学习笔记之JAVA多线程

Java程序设计实用教程 by 朱战立 & 沈伟 孙鑫Java无难事 Java 多线程与并发编程专题(http://www.ibm.com/developerworks/cn/java/j-c ...

nodejs-fs使用

(1)读取文本文件时须添加上'encoding'才能输出可读的内容. 02.txt hello,world! nodejs_readfile.js var fs = require('fs'); fs ...

浅谈&period;Net和Java互相调用的三种方式

在很多的大型系统开发中,开发工具往往不限制于同一种开发语言,而是会使用多种开发语言的混合型开发.目前Java和.Net都声称自己占85%的市场份 额,不管谁对谁错,Java和.Net是目前应用开发的两 ...

tar包和jar包和war包的区别？

tar:tar是*nix下的打包工具,生成的包通常也用tar作为扩展名,其实tar只是负责打包,不一定有压缩,事实上可以压缩,也可以不压缩,通常你看到xxxx.tar.gz,就表示这个tar包是压缩的 ...

深入剖析Kubernetes学习笔记：开篇词（00）

一.关于Kubernetes初学的疑惑 就在这场因"容器"而起的技术变革中,kubernetes项目已经成为容器技术的事实标准,重新定义了基础设置领域对应用编排与管理的种种可能 1 ...

总结vue中父向子，子向父以及兄弟之间通信的几种方式

子向父方式1:通过props,如例子中子组件test1.vue向父组件App.vue传值 App.vue代码

Servlet抽取的问题-method传递问题&plus;表单提交的问题

隐藏域解决该问题: 其中,hidden就是隐形域. 表单提交的问题: 1.通过按钮实现: 2.通过function中,获取页面元素.submit方法

【BZOJ2067】&lbrack;Poi2004&rsqb;SZN

题解: 比上一题水多了 首先树上贪心,肯定要考虑儿子 然后我们会发现这个东西就是要先把儿子连起来 然后如果儿子个数为奇数我们可以把这一条和它连向父亲的并在一起 由于根没有父亲所以要单独考虑 答案就是s ...