前言
嗨喽,大家好呐,这里是魔王呀~
相信很多人都看过漫画叭, 今天我们来看一下这个网站
这个网站,如果你是新用户会给你送15天的vip
我们领了它,可以把我们想看的漫画通通爬下来,慢慢看~
话不多说,我们直接开始撸代码
本篇代码提供者: 青灯教育-自游老师
环境使用:
- Python 3.8
- Pycharm
版本尽量保持一致哦~
模块使用:
- requests >>> pip install requests
- parsel >>> pip install parsel
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
安装失败原因:
失败一: pip 不是内部命令
解决方法: 设置环境变量
失败二: 出现大量报红 (read time out)
解决方法: 因为是网络链接超时, 需要切换镜像源
例如:pip3 install -i https://pypi.doubanio.com/simple/ 模块名
失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好
或者你pycharm里面python解释器没有设置好
如何配置pycharm里面的python解释器?
- 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
- 点击齿轮, 选择add
- 添加python安装路径
pycharm如何安装插件?
- 选择file(文件) >>> setting(设置) >>> Plugins(插件)
- 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
- 选择相应的插件点击 install(安装) 即可
- 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
基本思路流程<通用>:
一. 数据来源分析
- 明确需求
- 通过开发者工具进行抓包分析, 分析manhua数据内容来于那里
一张manhua图片<url地址> ----> 获取本章节所有manhua内容来自于哪里
二. 代码实现步骤过程
- 发送请求, 对于刚刚分析得到图片数据包url地址发送请求
- 获取数据, 获取服务器返回响应数据response
- 解析数据, 提取所有manhau图片url地址
- 保存数据, 把manhua内容保存到本地文件夹
采集一本漫画内容
采集多章manhua内容 —> 去找寻多个manhau数据包url地址 —> 分析请求url地址参数变化 —> 章节ID变化
只需要获取所有manhua章节ID就可以了 —> 都目录页面 列表页面 去分析找寻
- 发送请求, 对于manhau目录页面发送请求
- 获取数据, 获取服务器返回响应数据response
- 解析数据, 提取所有manhua章节ID以及manhua标题
代码
因审核机制原因,我把网址里的一些东西删掉了,小可耐们可以自己添加一下哈,很容易的
还有两个字,我用拼音代替了,你们可以改回文字哦 ~
如果有不太会改或者有点点小懒惰的小可耐也可以私信我,我发你呐~ 💖
(或查看并点击网页主页(文章)左侧的流动文字免费获取哦~(可能需要往下划一下呐))
导入模块
# 导入数据请求模块
import requests
# 导入格式化输出模块
import pprint
# 导入数据解析模块