python3 多进程 处理PDF为txt文件

需求是将pdf的文本抽取出来，然后将文本存入到数据库中。之前尝试直接读取在线的pdf文件，发现用第三方读取在线的文件时有些问题，所以考虑先将pdf下载到本地。然后多进程抽取本地的pdf文件为txt文件。再去读取txt里的文件内容存入数据库

代码如下：

# -*- coding: utf-8 -*-
#将pdf下载到本地再读取pdf文件内容到txt
#多进程处理版本

import re
import logging
import os
from io import StringIO

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
import multiprocessing as mp



logging.basicConfig(filename='log_handle_threading.log',
                    format='%(asctime)s -%(name)s-%(levelname)s-%(module)s:%(message)s',
                    datefmt='%Y-%m-%d %H:%M:%S %p',
                    level=logging.ERROR)


#将pdf文件转换成
def pdf_to_txt(pdfPath,pdfName,pages=None):

    print("将pdf转换成txt文件")
    print("pdfUrl===="+pdfPath)
    if not pages:
        pagenums = set()
    else:
        pagenums = set(pages)
    output = StringIO()
    # 创建一个PDF资源管理器对象来存储共赏资源
    manager = PDFResourceManager()
    # 创建一个PDF设备对象
    converter = TextConverter(manager, output, laparams=LAParams())
    # 创建一个PDF解释器对象
    interpreter = PDFPageInterpreter(manager, converter)

    # 打开源pdf文件
    with open(pdfPath, 'rb') as infile:
        # 对pdf每一页进行分析
        try:
            for page in PDFPage.get_pages(infile, pagenums):
                interpreter.process_page(page)
        except Exception as e:
            print(e)
            print("PDF内容提取失败")
    converter.close()
    # 得到每一页的txt文档
    text = output.getvalue()
    output.close
    #print(text)
    pattern = r'\s+'
    content=re.sub(pattern, '',text)

    #将pdf抽取的内容写入txt
    txtDir="C:\\Users\\windy\\Desktop\\ho\\0517\\process\\out"
    textFilename = txtDir + '\\' + pdfName[0:-4] + ".txt"
    # 将解析得到的pdf文件写入对应的txt文件
    with open(textFilename, 'a', encoding='utf-8') as f:
        f.write(content)


def  pdf_handle(pdf_dir):
    print("开始解析%s"%pdf_dir)
    for root, dirs, files in os.walk(pdf_dir):
        #print(root)
        print(files)  # 当前路径下所有非目录子文件

    for pdfName in files:
        pdfPath=pdf_dir+"//"+pdfName
        pdf_to_txt(pdfPath,pdfName)


if __name__ == '__main__':
    #机器核心数
    cpuCount=os.cpu_count()
    mt = []
    for i in range(1, 5):
        pdf_dir = "C:\\Users\\windy\\Desktop\\ho\\0517\\process\\pdf%d" % i
        t = mp.Process(target=pdf_handle, args=(pdf_dir,))#特别注意,args=(pdf_dir,)这里应该带逗号
        mt.append(t)
    for m in mt:
        m.start()
    for m in mt:
        m.join()

文件目录如下，四个pdf开头的为pdf文件保存目录，out为四个进程生成后的txt文件保存目录。进程数为4个

python版本 3.6  

处理pdf相关的包为pip install pdfminer.six

pip install pdfminer3k