异步下载小说《诡秘之主》

本文介绍了如何利用Python爬虫配合XPath解析技术,实现《诡秘之主》小说的异步下载,提高了下载效率。
摘要由CSDN通过智能技术生成
#1.同步爬取小说各页下载链接
import time
start_time=time.time()
import requests
from lxml import etree
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import os
url="https://www.soshuw.com/GuiMiZhiZhu/"
x1="//div[@id='novel50348']/dl/dd/a[1]/@href"
#添加verify=False可防止报错,例如SSL
r=requests.get(url,timeout=30,verify=False)
r.encoding="utf-8"
r=r.text
selector = etree.HTML(r)
#提取小说各页对应的url
t_url=str(selector.xpath(x1))
t_url=t_url.replace(t_url[0],"").replace
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值