用Python免费下载小说并记录章节数量以及下载时间

本文介绍如何使用Python爬虫下载小说并显示章节数量和下载时间。涉及requests、BeautifulSoup库,通过分析小说网站的URL结构找到搜索和下载路径。虽然例子中仅展示了部分代码,但提供了足够的线索帮助读者完成剩余部分。
摘要由CSDN通过智能技术生成

人生苦短,我用Python
在这里插入图片描述
最近再看Python数据处理,看的有点头疼,想着换个脑子,便写了这个在大神看来比较简易的小说下载的爬虫,输入小说的名字就可以下载小说,并显示小说的章节数量以及下载完成的时间,期间也是来回修改了几次,本来还想加入多线程的,实在有点搞,后面有机会再说。 说到这里,估计很多小伙伴都在叫了,废话这么多,怎么操作啊,赶紧上干货!别着急,干货这就来了。 首先我们这里会用到两个库,requests以及BeautifulSoup,三个模块os , time , re ,相信这几个知识点,了解爬虫的小伙伴都很熟悉了,那我们就开始了。

我们来打开小说网址,按F12查看,首先当然是输入小说名字,我们这里就以 纯阳武神 为例,小说首页网址为https://www.37zw.la,当我们搜索纯阳武神小说后,网页地址为https://www.37zw.la/s/so.php?type=articlename&s=%B4%BF%D1%F4%CE%E4%C9%F1,对比这两个地址可以发现,首页地址后面多出了一些参数,而我们小说名字的参数就是最后面的s=,后面一堆我们看着不是太明白的字符加字母其实就是小说名字的编码,说到这里我们就可以先上一段代码了。

if __name__ == '__main__':
    z = 0
    headers = {
   
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Connection': 'keep-alive',
        '
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

淡若扶风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值