Scrapy爬取博人传漫画

最新推荐文章于 2025-05-11 08:42:46 发布
最新推荐文章于 2025-05-11 08:42:46 发布
阅读量637 收藏 1
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42418452/article/details/115649558
版权

Scrapy框架、

为什么要学习scrapy？
在这里插入图片描述
理由：日常的Requests + Selenium虽然可以爬取网站内容，一旦遇到下载文件/图片，下载速度慢的鸡肋很快就暴露出来，有人说可以自己写高并发处理，再加上各种处理规则，如此一来，代码维护难度只增未减，另不排除遇到进程/线程堵塞，作为成熟的scrapy库，具备异步网络库、稳定性高、非堵塞。
在这里插入图片描述

框架图
在这里插入图片描述

简单解析Scrapy框架流程

1.运行项目spiders执行到yield将request发送给engine，再到scheduler入队、排序处理
2.scheduler返回给engine、downloadermiddlewares交给downloader
3.downloader请求网络响应Responses，并经过engine、spidermiddlewares交给spiders
4.spiders提取数据并将items经engine发送给itempipline
.

组件介绍
Scrapy由5部分组成

Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求
Engine：引擎，处理整个系统的数据流处理，框架的核心。
Scheduler：调度器，接受引擎发过来的请求，并将其加入队列中，在引擎再次请求时将请求提供给引擎
Downloader：下载器，下载网页内容，并将下载内容返回给spider
ItemPipeline：项目管道，负责处理spider从网页中抽取的数据，主要是负责清洗，验证和向数据库中存储数据
Downloader Middlewares：下载中间件，属于可自定义扩展，如代理（一般不写）
Spider Middlewares：spider中间件，可自定义request和responses过滤

网站分析
漫画首页：https://www.36mh.net/manhua/borenchuanhuoyingcishidai/
1、打开网站elements可以看到每个章节都存放在ul下
在这里插入图片描述
2、进入第1话，层层展开div，每一页只有一张图片，如果每次爬图片都要切换下一页，爬虫效率太低。可以看到图片src上面有一个nextPage函数，证明图片是经过js动态加载过的，图片动态加载无非两种方式：a.变量列表，b.图片名称编码加密（分析此方法需要对JavaScript有一定经验）
在这里插入图片描述
3、比较幸运的是该章节的所有图片名称都放在chapterImages列表里，在这里我们获取到另外两个重要信息，就是chapterpath（下载图片的图片），PageImage（含有下载图片的域名）。
在这里插入图片描述
分析完毕后，开始撸起代码。

创建/执行项目命令

创建项目：scrapy startproject borenzhuan
进入项目：cd borenzhuan #创建项目后会生成borenzhuan文件夹
创建爬虫：scrapy genspider borenzhuan（爬虫名） www.36mh.net （爬取域）
生成文件：scrapy crawl borenzhuan -o xxx.json (生成某种类型的文件)
运行爬虫：scrapy crawl borenzhuan #路径切换到spiders
列出所有爬虫：scrapy list
获得配置信息：scrapy settings [options]

目录结构
在这里插入图片描述
setting文件

ROBOTSTXT_OBEY = False #机器人协议，用来限定程序爬取范围，False不遵守协议
IMAGES_STORE=os.path.dirname(os.path.dirname(__file__)) #图片下载路径
#删除管道注释
ITEM_PIPELINES =
最低0.47元/天 解锁文章
Python爬虫入门教程 32-100 B站博人传评论数据抓取 scrapy
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-06 2万+
1. 写在前面 今天闲着无聊，抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看
Python爬虫开源项目代码分享，100个
qq_38082146的博客
11-09 1万+
今天博主给大家带来了一份大礼，100个Python爬虫开源项目代码分享，都是完整的项目源码！！！ 本文下面所有的爬虫项目都有详细的配套教程以及源码，都已经打包好上传到百度云了，百度云下载链接在文章结尾处！ 大家自行获取即可~~~ Python爬虫开源项目代码（一）：入门级 1. CentOS环境安装 2. 和谐图网站爬取 3. 美空网数据爬取 4. 美空网未登录图片爬取 5. 27270图片爬取 6. 蜂鸟网图片爬取之一 7. 蜂鸟网图片爬取之二 8. 蜂鸟网图片爬取之三 9..
scrapy爬取漫画
灵馨轩主人的博客
06-30 2866
项目提要 主要知识点 scrapy中设置代理IP scrapy架构中从一个组件向另一组件传递特定信息，譬如本文所说的目录名 settings文件需要处理的事项 爬虫目标 网上有一部漫画挺好看，手机浏览总是需要刷新浏览器——不友好啊，干脆我们把它爬取并存储到本地，即使以后收费了我们照样看。这部漫画叫《一人之下》 使用框架 scrapy 工作流程 分析网页 我们可以看见从章节目录页爬取章节U...
Scrapy实战-爬取豆瓣漫画
weixin_33845477的博客
06-07 235
背景知识 （一）什么是Scrapy呢？Python上优秀的爬虫框架。什么是爬虫？可以看我的心得感悟，也可以自行谷歌百度。 （二）建议看下初识Scrapy的事前准备安装Scrapy。 （三）Selectors根据XPath和CSS表达式从网页中选择数据。XPath和CSS表达式是什么东西，我们不用太过于纠结，只...
Python爬虫：用Scrapy框架爬取漫画（附源码）
wulishinian的博客
05-21 2135
scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。关于框架使用的更多详情可浏览官方文档，本篇文章展示的是爬取漫画图片的大体实现过程。 Scrapy环境配置 首先是 scrapy 的安装，博主用的是Mac系统，直接运行命令行： pip install Scrapy对于html节点信息的提取使用了 Beautiful Soup 库，大概的用法可见之前的一篇文章，直接通过命令安装： pip install beautifulsoup4对于目标网页的 Beautiful Soup 对象初始化需要
初识scrapy-利用scrapy爬漫画
zyf的博客
11-24 1419
一、前言 隔了许久终于再次开始更新，此次是由于开始学习scrapy，想用着来爬漫画，跟着别人的博客学习了一下，中途也遇到了许多坑，因此记录一下 参考：主参考博客、scrapy demo、scrapy1.0文档 说明：原博客写于2年前，我跟着走的时候遇到了一些坑，会尽可能地记录，并对原博客没涉及到的东西进行说明 目标漫画：kuku动漫-转生史莱姆日记 我们知道，有时候一些小的动漫网站充满广告，而...
用Scrapy爬动画列表
El Psy Congroo
10-01 839
技术宅是如何补番的
Python爬虫入门【19】： B站博人传评论数据抓取 scrapy
Python8年程序员教程分享
07-23 590
1. B站博人传评论数据爬取简介 今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。网址： https://www.bilibili.com/bangumi/media/md5978/?from=search&seid=16013388136765436883#short 在这个...
python练手经典100例项目,70个python练手项目列表
m0_73979992的博客
05-02 995
大家好，本文将围绕python爬虫 70个python练手项目列表展开说明，80个python练手项目百度网盘是一个很多人都想弄明白的事情，想搞清楚python练手经典100例项目需要先了解以下几个事情。今天博主给大家带来了一份大礼，Python爬虫70例！！！以及完整的项目源码！！！本文下面所有的爬虫项目都有详细的配套教程以及源码，都已经打包好上传到百度云了，链接在文章结尾处！
从头学习爬虫（三十四）实战篇----动漫之家漫画（Scrapy实战）
qq_36783371的博客
05-11 5002
本文主要由于改造Scrapy下载中间件拖了比较久，安装模块自行解决。一 创建项目创建项目：CMD进入你需要放置项目的目录 输入：scrapy startproject XXXXX             XXXXX代表你项目的名字二 导入IDE由于IDE不一样这边自行解决结构如上三 IDE配置可以直接运行ScrapyScrapy默认是不能在IDE中调试的，我们在根目录中新建一个py文件叫：ent...
python自动爬取xkcd所有漫画教学小程序
07-26
利用python requests库实现抓取xkcd(http://xkcd.com)漫画小程序，方便学习使用python制作爬虫
Python 爬虫爬取鼠绘网排球少年漫画实例
08-16
Python request库实现网络爬虫，对鼠绘网排球少年漫画进行简单的爬取。根据爬取规则可自由定制爬取漫画。
scrapy漫画爬虫+django页面展示项目，网易163漫画、腾讯漫画、神漫画在线爬取.zip
09-13
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
在36mh看漫画更爽的脚本。
热门推荐
Cymbals的博客
05-19 10万+
function del(){ var element, pElements = document.getElementsByTagName('p'); while (pElements.length>0) { element = pElements[0]; element.parentElement....
Python爬虫：用Scrapy框架爬取漫画
m0_61068088的博客
03-20 883
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
Python爬虫之request模块
Narutolxy的博客
04-30 811
Python爬虫请求模块 urllib.request模块 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并,urllib.request urllib.request.urlopen(“⽹址”) 作⽤ ：向⽹站发起⼀个请求并获取响应 字节流 = response.read() 字符串 = response.read().decode(“utf-...
完整的scrapy爬虫（爬取《有妖气》榜单前三十的所有漫画最近两天的所有评论（动态界面））
qq_37858326的博客
05-10 1491
# -*- coding: utf-8 -*- ''' @author Mrpora ''' import json import os import sys from ipindex_spider_py.utils.MongoHandler import MongoHandler from ipindex_spider_py.items.Ip.baseCaAuthorItem import B...
TGV之LTX：LTX-Video的简介、安装和使用方法、案例应用之详细攻略
最新发布
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-11 1055
​ TGV之LTX：LTX-Video的简介、安装和使用方法、案例应用之详细攻略 目录 LTX-Video的简介 LTX-Video的安装和使用方法 LTX-Video的案例应用 LTX-Video的简介 LTX-Video是第一个基于DiT的实时高质量视频生成模型。它能够以1216×704分辨率生成30 FPS的视频，速度快于观看视频本身。该模型在一个大型多样化视频数据集上进行训练，能够生成具有逼真和多样化内容的高分辨率视频。它支持文本到视频、图像到视频、关键帧动画、视
scrapy爬取
03-28
<think>好的，用户想了解如何使用Scrapy进行网页爬取。首先，我需要回忆一下Scrapy的基本架构和工作流程。Scrapy是一个强大的Python框架，专门用于高效地爬取网页并提取结构化数据。根据用户提供的引用内容，特别是引用[2]中提到Scrapy提供了多种爬虫基类，并且可以方便地修改，这应该是回答的重点。 接下来，我应该分步骤解释如何创建Scrapy项目，定义Item类，编写爬虫，以及处理数据。需要确保用户理解每个步骤的作用，比如生成项目结构、定义要抓取的数据字段、使用Spider类编写爬取逻辑，以及通过Item Pipeline处理数据存储。 用户可能对动态网页爬取有疑问，但根据问题，主要关注的是基本爬取流程。不过引用[1]提到使用Scrapy-Splash处理动态内容，这可能是一个相关的高级话题，可以在相关问题中提及。 另外，用户提供的引用[3]涉及递归爬取，即如何处理分页或深层链接。这也是实现完整爬虫的重要部分，需要在步骤中说明如何通过回调函数或跟进链接来实现。 需要注意使用正确的中文术语，比如“爬虫”而不是“蜘蛛”，同时确保代码示例符合Scrapy的最新版本语法，例如使用start_requests方法和yield语句生成请求。还要提醒用户运行爬虫的命令，如scrapy crawl，如引用[1]中的示例。 最后，生成的相关问题需要覆盖用户可能进一步探索的方向，比如处理动态内容、数据存储优化、递归爬取策略以及遵守Robots协议等。这些扩展问题可以帮助用户深入理解Scrapy的不同方面。</think>### 如何用Scrapy实现网页爬取 #### 1. 创建Scrapy项目 通过命令行初始化项目结构： ```bash scrapy startproject myproject cd myproject ``` 生成的文件包含`items.py`（数据模型）、`middlewares.py`（中间件）、`pipelines.py`（数据处理）和`settings.py`（配置）[^2]。 #### 2. 定义数据模型 在`items.py`中声明要抓取的字段： ```python import scrapy class ArticleItem(scrapy.Item): title = scrapy.Field() content = scrapy.Field() url = scrapy.Field() ``` #### 3. 编写爬虫逻辑 在`spiders/`目录下新建爬虫文件（如`article_spider.py`）： ```python import scrapy from myproject.items import ArticleItem class ArticleSpider(scrapy.Spider): name = "news_crawler" start_urls = ["https://example.com/news"] def parse(self, response): # 提取文章列表 for article in response.css("div.article-list"): item = ArticleItem() item["title"] = article.css("h2::text").get() item["url"] = article.css("a::attr(href)").get() # 跟进详情页 yield response.follow(item["url"], self.parse_detail, meta={"item": item}) def parse_detail(self, response): item = response.meta["item"] item["content"] = response.css("div.main-content::text").getall() yield item ``` #### 4. 配置参数优化 在`settings.py`中设置： ```python USER_AGENT = "Mozilla/5.0 (compatible; MyBot/1.0)" DOWNLOAD_DELAY = 2 # 降低请求频率 AUTOTHROTTLE_ENABLED = True # 自动限速 ITEM_PIPELINES = { "myproject.pipelines.JsonWriterPipeline": 300, } ``` #### 5. 数据存储处理 在`pipelines.py`中实现存储逻辑： ```python import json class JsonWriterPipeline: def open_spider(self, spider): self.file = open("articles.jl", "w") def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line = json.dumps(dict(item)) + "\n" self.file.write(line) return item ``` #### 6. 执行爬虫 通过命令运行（支持多种输出格式）： ```bash scrapy crawl news_crawler -o articles.csv ``` #### 关键组件说明 - **引擎(Engine)**: 控制数据流的核心系统 - **调度器(Scheduler)**: 管理请求队列 - **下载器(Downloader)**: 处理HTTP请求 - **爬虫(Spider)**: 自定义抓取规则 - **中间件(Middleware)**: 扩展请求/响应处理 - **管道(Pipeline)**: 数据清洗与持久化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值