python 将html保存为PDF之一个学习笔记

最新推荐文章于 2024-03-16 07:00:00 发布

zhaojiafu666

最新推荐文章于 2024-03-16 07:00:00 发布

阅读量1.8k

点赞数 2

分类专栏： python

本文链接：https://blog.csdn.net/weixin_42081389/article/details/102723159

版权

python 专栏收录该内容

67 篇文章 13 订阅

订阅专栏

文章目录

说明：
一、环境配置：
二、代码实现：
==后续补充新增：三、用自己的方法实现完成将廖雪峰的129页博客保存为一个pdf：==

说明：

今天突然想把爬取的HTML页面转存成PDF格式，进行一个学习，起源于这个还是很久之前看到一个爬取公众号的文章保留为PDF，但是想着学习自己实现一下哈，结果（懒呀，懒人总是能找到各种借口的，一推就一俩个月过去了，今天突然就想起来了，就来实现一波，结果还真有点麻烦，代码这个还是要自己动手写写，弄好之后做个自己看懂的总结就行（因为这是你以新手的学习出发点学习的，也能帮助别人下你踩得坑），把人家写的案例自己实现或者自己模仿找个其他案例测试测试，或者多找个文章学习学习）

一、环境配置：

1、window的wkhtmltopdf下载地址

这个不按照会报一个错。
我的是window系统，所以需要还需要安装一个exe文件：
下载地址1：
下载地址2
各个平台下载的方法地址
在这里插入图片描述
下载的exe直接安装即可，安装位置建议更改到软件盘。

记得安装好把安装位置的bin目录放到环境变量中。

2、安装pdfkit模块：

pip install --upgrade pdfkit

二、代码实现：

参考好几个博客之后，我找到有以下几种可以实现的方法，参考博客我放到下方，需要的可以去看看。

方法1–wkhtmltopdf命令url ：

刚刚安装好，可以直接使用命令处理一个单个的url。
命令格式：wkhtmltopdf + url + 输出名称（可以是绝对路径或者相对路径）

 wkhtmltopdf https://www.liaoxuefeng.com/wiki/1016959663602400/1016959735620448 demo1.pdf

在这里插入图片描述

方法2–wkhtmltopdf命令html：

命令格式：wkhtmltopdf + html文件（可以是绝对路径或者相对路径）+ 输出pdf路径（可以是绝对路径或者相对路径）

wkhtmltopdf .\0.html demo2.pdf

在这里插入图片描述

方法3–pdfkit的from_url（url这个不报错）：

注意点：

这个要把刚刚安装的环境位置弄上，我添加到系统的环境变量中，不加入这个还是保错，不知道有个博主写的，他为什么可以下载保存，我这边要加上这个配置。

path_wk = r'd:\tools\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
config = pdfkit.configuration(wkhtmltopdf=path_wk)

代码演示：

import pdfkit


path_wk = r'd:\tools\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
config = pdfkit.configuration(wkhtmltopdf=path_wk)
# pdfkit.from_url(['google.com', 'yandex.ru', 'engadget.com'], 'out1.pdf',configuration=config)
pdfkit.from_url(['https://www.liaoxuefeng.com/wiki/1016959663602400/1016959735620448'], 'demo3.pdf',configuration=config)

在这里插入图片描述

方法4–pdfkit的from_file（我的虽然也能成功生成pdf，但是这个会报错，找了几个小时没有找到怎么解决，如果有懂得大佬，可以赐教一下哈）：

代码，可以合成单个html，也可以合成多个html：

# -*- coding: utf-8
import pdfkit

path_wk = r'd:\tools\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
config = pdfkit.configuration(wkhtmltopdf=path_wk)
pdfkit.from_file(['0.html', '1.html'], 'demo5.pdf', configuration=config)

能生成能打开pdf，其实效果可以了，就是报错，唯一遗憾的是一直没有找到报错解决方法，等闲了回家用自己电脑测试试试，是不是公司电脑中其他环境问题：
在这里插入图片描述

在这里插入图片描述

问题：

我把问题放到这里，如果有懂的大佬，欢迎留言给我讲解一波哈。

Exception in thread Thread-2:
Traceback (most recent call last):
  File "D:\tools\Python3.6\lib\threading.py", line 916, in _bootstrap_inner
    self.run()
  File "D:\tools\Python3.6\lib\threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "D:\tools\Python3.6\lib\subprocess.py", line 1084, in _readerthread
    buffer.append(fh.read())
  File "D:\tools\Python3.6\lib\codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 639: invalid continuation byte

Traceback (most recent call last):
  File "D:/zjf_workspace/000、爬虫代码-基础的/scrapy_100_工具/27、将网页html转存成pdf/3、pdfkit模块/2、pdfkit模块--from_file.py", line 6, in <module>
    pdfkit.from_file(['0.html', '1.html'], 'demo5.pdf', configuration=config)
  File "D:\tools\Python3.6\lib\site-packages\pdfkit\api.py", line 49, in from_file
    return r.to_pdf(output_path)
  File "D:\tools\Python3.6\lib\site-packages\pdfkit\pdfkit.py", line 164, in to_pdf
    raise IOError("wkhtmltopdf exited with non-zero code {0}. error:\n{1}".format(exit_code, stderr))
OSError: wkhtmltopdf exited with non-zero code 1. error:

方法5–就是使用python执行系统命令的方法执行前俩个方法，可以做到批量处理。

python执行系统命令的方法主要有下面这三个：

os.system()
os.popen()
subprocess.Popen()
新增：这三个的区别和方法，可以参考我的另一篇博客。
python执行系统命令的方法总结

后续补充新增：三、用自己的方法实现完成将廖雪峰的129页博客保存为一个pdf：

这个具体我不解释了，就是前面的一个综合，直接上代码吧：

import os
import subprocess

import requests
from PyPDF2 import PdfFileWriter, PdfFileReader
from lxml import etree


class Merge_LiaoXueFeng:
    def __init__(self, pdf_name,path):
        self.headers = {
            "Cookie": "Hm_lvt_2efddd14a5f2b304677462d06fb4f964=1571883576; Hm_lpvt_2efddd14a5f2b304677462d06fb4f964=1571884481",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"
        }
        self.urls = self.get_url_list()
        self.pdf_name = pdf_name
        self.path = path

    def get_url_list(self):
        """
        获取所有URL目录列表
        :return:
        """
        response = requests.get("https://www.liaoxuefeng.com/wiki/1016959663602400", headers=self.headers)
        html = etree.HTML(response.text)
        with open('ret.html', 'w', encoding='utf-8') as file:
            file.write(response.text)
        href_list = html.xpath('//*[@id="x-wiki-index"]//a/@href')
        print("myself_href", href_list)
        urls = []
        for href in href_list:
            url = "http://www.liaoxuefeng.com" + href
            urls.append(url)
        return urls

    def merge_pdf(self, infnList, outfn):
        """
        合并pdf
        :return:
        """
        pdf_output = PdfFileWriter()
        # 把所有pdf写入一个pdf（pdf合并）
        for infn in infnList:
            pdf_input = PdfFileReader(open(infn, 'rb'))
            # 获取 pdf 共用多少页，把每一个pdf的所有页数写进一个pdf
            page_count = pdf_input.getNumPages()
            print(page_count)
            for i in range(page_count):
                pdf_output.addPage(pdf_input.getPage(i))
        pdf_output.write(open(outfn, 'wb'))

    def get_pdf_list(self):
        """
        获取当前位置的pdf目录下的所有pdf的绝对路径，返回为pdf路径列表
         :return:
        """
        # 获取当前pdf目录下的所以pdf文件
        # path = os.getcwd(r"D:\zjf_workspace\000、爬虫代码-基础的\scrapy_100_工具\27、将网页html转存成pdf\1、批量处理")
        html_path = os.path.join(self.path, 'pdf')
        file_list = os.listdir(html_path)
        pdf_list = []
        for file_one in file_list:
            # 判断是否都是pdf文件
            if file_one.endswith('.pdf'):
                pdf_file = os.path.join(html_path, file_one)
                pdf_list.append(pdf_file)
        return pdf_list

    def run(self):
        num = 0
        subprocess_list = []
        # 1、保存文章为pdf
        for article_url in self.urls:
            num += 1
            # 不等待结束接着运行下一个，（不建议很多运行,可以五个左右设置一个等待完成，防止多个运行电脑卡死）
            subprocess_one = subprocess.Popen(r'wkhtmltopdf {} ./pdf/{}.pdf'.format(article_url, num))
            subprocess_list.append(subprocess_one)
            if len(subprocess_list) >= 10:
                for i in subprocess_list:
                    i.wait()
                subprocess_list = []
            else:
                pass
            # os_one = os.popen(r'wkhtmltopdf {} ./pdf2/{}.pdf'.format(article_url, num))
            # os_one.close()
            # print(dir(os_one))
            # time.sleep(20)
            # 一个运行结束另一个运行（可以加个协程跑快一点）
            # os.system(r'wkhtmltopdf {} ./pdf3/{}.pdf'.format(article_url, num))

        # 最后可能不大于10，所有把后面小于10的执行完毕
        for i in subprocess_list:
            i.wait()

        # 2、获取当前pdf目录下的所以pdf文件
        pdf_list = self.get_pdf_list()
        print("pdf_list",pdf_list)

        # 3、合并pdf
        print('pdf下载完毕，准备合并pdf:')
        self.merge_pdf(pdf_list, self.pdf_name)


if __name__ == '__main__':
    path = os.getcwd()
    print(path)
    liaoxuefeng = Merge_LiaoXueFeng(u"廖雪峰Python_all.pdf", path)
    liaoxuefeng.run()

最终效果：
在这里插入图片描述

学习参考文章：

https://blog.csdn.net/hubaoquanu/article/details/66973149
https://blog.csdn.net/y101101025/article/details/62461115
https://blog.csdn.net/u012561176/article/details/83655247
https://blog.csdn.net/xc_zhou/article/details/80952168

zhaojiafu666

关注

2
点赞
踩
11

收藏

觉得还不错? 一键收藏
打赏
1
评论
python 将html保存为PDF之一个学习笔记

文章目录说明：一、环境配置：1、window的wkhtmltopdf下载地址==记得安装好把安装位置的bin目录放到环境变量中。==2、安装pdfkit模块：二、代码实现：方法1--wkhtmltopdf命令url ：方法2--wkhtmltopdf命令html：方法3--pdfkit的from_url（url这个不报错）：注意点：代码演示：方法4--pdfkit的from_file（我的虽然也能...
复制链接

扫一扫