使用python多线程下载网络小说并结合calibre制作电子书

晚亭听铃

已于 2022-11-27 23:33:28 修改

阅读量469

点赞数

文章标签： python 开发语言爬虫

于 2022-11-27 23:23:33 首次发布

本文链接：https://blog.csdn.net/kelvinfanyiang/article/details/128071890

版权

之前的教程里有写过python爬取小说的代码，但如果小说字数很多，爬起来会比较耗时。此时需要结合多线程来加快爬取速度。

代码如下：

import requests
from lxml import etree
import threading

#lock
lock = threading.Lock()
def downloads():
    url = 'https://www.******.net/daomu/guichuideng' #获取链接
    #伪装
    headers = {
   
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
    }
    lock.acquire()