【Python】以PDF格式批量下载网页包含的超链接网页

from DrissionPage import SessionPage
import os
import pdfkit
import logging
from multiprocessing import Pool

logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')
logger521 = logging.getLogger()

def get_pdf(_name, _url):
    logger521.info(f'开始将{_url}写入{_name}.pdf')
    pdfkit.from_url(_url, f'./{_name}.pdf')
    logger521.info(f'成功写入{_name}.pdf')

if __name__ == '__main__':   

    #读取PDF列表
    pdflist=[]
    for root, dirs, files in os.walk('.', topdown=False):
        for name in files:
            if name.endswith(".pdf"):
                pdflist.append(name.replace('.pdf', ''))

    #创建页面对象
    print("开始爬取链接!")
    page = SessionPage()

    page.get('https://xxx.xxx/')
    # 获取所有开源库<a>元素列表
    links = page.eles('.md-nav__link')
    # 遍历所有<a>元素
    link_list = []
    for link in links:
        # 检索标题符合特定模式且未被保存为PDF的链接
        if link.link is None or link.text in pdflist \
            or any([pattern in link.text for pattern in ['xxx', 'xxx', 'xxx']]):
            continue
        link_list.append((link.text, link.link))
        # 打印链接信息
        print(link.text, link.link)

    print("开始写入文件!")


    for _name, _url in link_list:
        get_pdf(_name, _url, )

    print("全部完成!")
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值