什么?漫画居然能免费看全本了,这还不学起来一起做省钱小能手

本文介绍如何利用Python爬虫免费获取漫画资源。通过分析网站数据来源,使用requests和parsel库,抓取漫画图片并保存到本地。讲解了在PyCharm中配置Python解释器和安装第三方模块的方法。
摘要由CSDN通过智能技术生成

前言

嗨喽,大家好呐,这里是魔王呀~


相信很多人都看过漫画叭, 今天我们来看一下这个网站

这个网站,如果你是新用户会给你送15天的vip

在这里插入图片描述

我们领了它,可以把我们想看的漫画通通爬下来,慢慢看~

话不多说,我们直接开始撸代码



本篇代码提供者: 青灯教育-自游老师

环境使用:

  • Python 3.8
  • Pycharm

版本尽量保持一致哦~


模块使用:

  • requests >>> pip install requests
  • parsel >>> pip install parsel

如果安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
  2. 在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因:

失败一: pip 不是内部命令

解决方法: 设置环境变量

失败二: 出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源

例如:pip3 install -i https://pypi.doubanio.com/simple/ 模块名

失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好

或者你pycharm里面python解释器没有设置好


如何配置pycharm里面的python解释器?

  1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
  2. 点击齿轮, 选择add
  3. 添加python安装路径

pycharm如何安装插件?

  1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
  2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
  3. 选择相应的插件点击 install(安装) 即可
  4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

基本思路流程<通用>:

一. 数据来源分析
  1. 明确需求
  2. 通过开发者工具进行抓包分析, 分析manhua数据内容来于那里

一张manhua图片<url地址> ----> 获取本章节所有manhua内容来自于哪里

二. 代码实现步骤过程
  1. 发送请求, 对于刚刚分析得到图片数据包url地址发送请求
  2. 获取数据, 获取服务器返回响应数据response
  3. 解析数据, 提取所有manhau图片url地址
  4. 保存数据, 把manhua内容保存到本地文件夹

采集一本漫画内容

采集多章manhua内容 —> 去找寻多个manhau数据包url地址 —> 分析请求url地址参数变化 —> 章节ID变化

只需要获取所有manhua章节ID就可以了 —> 都目录页面 列表页面 去分析找寻

  1. 发送请求, 对于manhau目录页面发送请求
  2. 获取数据, 获取服务器返回响应数据response
  3. 解析数据, 提取所有manhua章节ID以及manhua标题

代码

因审核机制原因,我把网址里的一些东西删掉了,小可耐们可以自己添加一下哈,很容易的

还有两个字,我用拼音代替了,你们可以改回文字哦 ~

如果有不太会改或者有点点小懒惰的小可耐也可以私信我,我发你呐~ 💖

(或查看并点击网页主页(文章)左侧的流动文字免费获取哦~(可能需要往下划一下呐))

导入模块

# 导入数据请求模块
import requests
# 导入格式化输出模块
import pprint
# 导入数据解析模块
  • 7
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值