【python爬虫】喜欢看小说又手头紧的小伙伴一定要看这篇文章，带你一步步制作一个小说下载器

前言
嗨喽！这里是魔王，欢迎来到这篇文章。小说想必大家非常熟悉， 无论上班、在家还是干什么只要空闲，许多人都会看看小说让自己的精神世界解解馋！但是有时候叭，没钱！流量贵！免费看书软件一大堆广告！又是一大难题，哎！生活！那么今天我就为大家带来一个好案例！用python制作爬取小说下载器！

案例：

Python实现全网小说下载器

基本开发环境

• python 3.8
• pycharm

相关模块的使用

requests >>> 数据请求模块 pip install requests
parsel >>> 数据解析模块 pip install parsel >>> 这个模块不支持 3.9，最好是3.8或3.6

安装方法

win + R 输入 cmd 然后点击确定 在输入 安装命令
如果出现红色报错, 网络连接超时 是需要切换国内的镜像源 黄色是警告 提示你可以更新pip版本

需要Python环境安装包/pycharm激活码/使用教程/学习资料/视频教程的小伙伴可以私聊我哦！

大概思路

如果爬取的是小说内容

– 小试牛刀 爬取一章小说
– 爬取一本小说内容
– 搜索小说名字 然后就可以下载相应的小说内容

如果你想要的通过Python代码取进行下载小说

– 如何获取这些数据内容 >>> 小说章节标题 以及 小说内容 (用Python代码模拟浏览器 发送请求)
– 弄一个下载进度条显示
– 控制爬取的速度 就不会爬蹦

爬虫基本步骤

• 发送请求
• 获取数据
• 解析数据, 目标 获取 小说章节标题 以及 小说内容

爬取的网址：[https://www.biqugee.com/]

代码步骤如下：

一. 发送请求函数"

def get_response(html_url):
    response = requests.get(html_url)
    return response

二. 获取所有章节url地址

def get_novel_url(html_url):
    response = get_response(html_url)
    selector = parsel.Selector(response.text)
    href = selector.css('#list dd a::attr(href)'