笔趣阁爬虫(2020重制版),贴心的操作,谁用谁知道

支持正版,一切只为学习

之前写的笔趣阁爬虫有不少同学说不能爬了,我后来发现是网站改版的缘故,前些日子把书里的爬虫项目都整的差不多了,现在又有些不知道爬什么好了,刚好在这段时间把笔趣阁爬虫代码重写一下。
(PS:我看自己之前写的代码感觉写的好丑哦,官方吐槽,最为致命,以前的链接

做了以下改进:

  1. 将爬虫代码写入对象中,把用户选择判断的语句写在外部,使得爬虫本身更加简洁;
  2. 优化互动的相关代码,操作更舒适;
  3. 采用多进程爬取小说各章节的内容,速度更快;
  4. 加入UA代理,尽可能反反爬虫,安全性更高 。

前期准备,需要在cmd里下载安装以下第三方库:
pip install requests
pip install python-docx

一、基本思路

以下是爬取笔趣阁小说的主体思路,爬虫代码在这个思路上扩展构建。

Created with Raphaël 2.2.0 开始 输入书名 查询小说是否存在 跳转页面至小说主页 获取小说目录URL 解析小说内容并保存至word 结束 yes no

二、构建爬虫

笔趣阁的网站众多,这是我爬取的笔趣阁网址:http://www.biquge.tv/
我将爬虫写到

  • 14
    点赞
  • 48
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值