selenium库实现批量爬取网页文章得到PDF

ph0ebus

已于 2022-12-10 22:41:17 修改

阅读量672

点赞数 2

分类专栏： python 文章标签： selenium python

于 2022-12-10 22:24:55 首次发布

本文链接：https://blog.csdn.net/qq_46266259/article/details/128270091

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

引流博客（https://ph0ebus.github.io/）

实现目的

利用python的selenium库实现批量网站打印为PDF

预备知识

selenium库的简单了解
浏览器的启动参数
re库函数了解(re.complie, re.findall)
js调用浏览器窗口

代码实现

import json
import re
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--enable-print-browser')  # 启用PrintBrowser模式，其中所有内容都呈现为打印
chrome_options.add_argument('--kiosk-printing')  # 在打印预览中自动按下打印按钮
settings = {
    "recentDestinations": [
    {
        "id": "Save as PDF",
        "origin": "local"
    }
    ],
    "selectedDestinationId": "Save as PDF",
    "version": 2
}
prefs = {
    'printing.print_preview_sticky_settings.appState': json.dumps(settings),
    'savefile.default_directory': 'C:\\Users\\admin\\Desktop\\pdf'  # 下载文件保存的路径
}
chrome_options.add_experimental_option('prefs', prefs)

driver = webdriver.Chrome(options=chrome_options)
for num in range(1,1854):
    url = 'https://tttang.com/archive/%d/'%num  # 通过对网站url特点分析，遍历出每篇文章，也可以通过其他特点遍历出各分类的文章
    driver.get(url)
    a = driver.page_source  # 获取网页源代码
    if '404 not found' not in a and '点击跳转' not in a:  # 防止无效的404页面
        title1 = re.compile("<title>(.*)</title>")  # 通过正则表达式定位到文章标题
        title = title1.findall(a)[0][:-6]  # 切片去除无意义的后缀
        js = "document.title='"+title+"';window.print();"  # 保存文件的文件名是文章标题，使用js的window.print()调出打印窗口,避免使用ctrl+P
        driver.execute_script(js)