爬取网站全本小说(超详细版)~已更新完毕

本文详细介绍了如何使用Python爬虫抓取全本小说,以《重生后我拒绝了校花和青梅》为例,讲解了安装所需库、发送HTTP请求、解析HTML、多线程爬取及文件合并的全过程。
摘要由CSDN通过智能技术生成

目录

1、1 爬取任务和爬取的网站:

1、点击这个链接,https://www.bqghi.cc/id/148332,跳转到如下图:

2、 在IJ里新建一个.py文件,如下图:

3、在IJ里安装一些需使用 库的包

2、2 正式开始爬取

3、3 总结


1、1 爬取任务和爬取的网站:

在此网站上,对任意一本小说全本爬取下来,并存储到电脑某个文件夹里;在这里我以“重生后我拒绝了校花和青梅”这本小说为例,进行详细演示操作,若有不详细的地方,欢迎友友们留言评论,我会与友友们互动的:

1、点击这个链接,https://www.bqghi.cc/id/148332,跳转到如下图:

2、 在IJ里新建一个.py文件,如下图:

3、在IJ里安装一些需使用库的包

pip  install   requests    -i   https://pypi.tuna.tsinghua.edu.cn/simple

pip  install   bs4    -i   https://pypi.tuna.tsinghua.edu.cn/simple

pip  install   datetime    -i   https://pypi.tuna.tsinghua.edu.cn/simple

pip  i

  • 30
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不知道要起什么昵称

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值