scrapy源码分析（六）---------------CrawlProcess

最新推荐文章于 2024-08-06 10:59:23 发布
最新推荐文章于 2024-08-06 10:59:23 发布
阅读量6.1k 收藏 13
点赞数 4
分类专栏： Python 文章标签： python twisted 源码 scrapy engine scrape 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happyAnger6/article/details/53453668
版权
本文深入分析了Scrapy的CrawlProcess源码，探讨了Crawler、CrawlerRunner和CrawlerProcess之间的关系。Crawler代表单个爬取任务，CrawlerProcess能管理多个任务并启动Twisted reactor。CrawlerRunner作为CrawlerProcess的父类，负责处理shutdown信号和配置logging。文章通过注释源码的方式解释了crawl和start方法的实现。
摘要由CSDN通过智能技术生成

上一篇教程中讲到crawl命令最终会执行CrawlProcess的crawl和start方法。这一篇对CrawlProcess的源码进行详细分析，来了解一下是如何进行爬取任务的。

先看一下CrawlProcess的构造函数:

scrapy/crawler.py:

可以看到这个模块一共有3个类:Crawler,CrawlerRunner,CrawlerProcess.

Crawler代表了一种爬取任务，里面使用一种spider，CrawlerProcess可以控制多个Crawler同时进行多种爬取任务。

CrawlerRunner是CrawlerProcess的父类，CrawlerProcess通过实现start方法来启动一个Twisted的reactor,并控制shutdown信号，比如crtl-C，它还配置顶层的logging模块。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
self-motivation
关注
专栏目录
订阅专栏
爬虫日记(83)：Scrapy的CrawlerProcess类（一）
大坡3D软件开发
05-26 898
前面学习了Twisted的基础知识了，接着回过头来再看整个Scrapy程序，在执行 Scrapy 命令时，主要经过以下几步： 1）调用 cmdline.py 的 execute 方法 2）找到对应的命令实例解析命令行 3）构建 CrawlerProcess 实例，调用 crawl 和 start 方法开始抓取 而 crawl 方法最终是调用了 Cralwer 实例的 crawl，这个方法最终把控制权交给了Engine，而 start 方法注册好协程池，就开始异步调度执行了。 在 cmdline.p
爬虫日记(83)：Scrapy的CrawlerProcess类(四）
大坡3D软件开发
05-28 341
当前面准备工作都已经做之后，我们就需要让爬虫转换控制权了，就是从命令里转移到引擎运行了，它的触发代码就是在下面： class Command(BaseRunSpiderCommand): ... def run(self, args, opts): ... self.crawler_process.start() ... 这行代码self.crawler_process.start()是调用crawler_process对象，也就...
（三）Scrapy的抓取流程——CrawlerProcess
Catastrophe
04-09 5705
上一章提到scrapy的启动是通过ScrapyCommand对象中的crawler_process实现的，crawler_process是通过crawler.py下的CrawlerProcess类创建的实例。该文件下定义了Crawler，CrawlerProcess和CrawlerRunner三个类。 CrawlerProcess是CrawlerRunner的子类，而命令文件中的self.craw...
深入解读 Scrapy 框架原理与源码
weixin_52392194的博客
08-06 1372
以上内容详细解读了 Scrapy 框架的运行原理、底层源码、中间件和自定义功能，涵盖了从请求生成、响应处理到数据存储的完整流程。
爬虫日记(83)：Scrapy的CrawlerProcess类(三）
大坡3D软件开发
05-27 324
前面完成了CrawlerRunner类构造函数的分析，接着从哪里继续开始呢？我想应该按顺序执行的主线来进行，可以从之前运行的命令里看到执行下面的函数： class Command(BaseRunSpiderCommand): def run(self, args, opts): ... crawl_defer = self.crawler_process.crawl(spname, **opts.spargs) 所以我们可以从crawl函数来入手，它们之...
爬虫日记(83)：Scrapy的CrawlerProcess类(二）
大坡3D软件开发
05-26 339
因此继续来分析这两个函数的代码，才能理解蜘蛛类怎么样加载进来，怎么样设置twisted底层的工作框架。我们来查看_get_spider_loader函数的代码，它的定义如下： 第131行使用了staticmethod装饰器，它是用来创建一个静态方法。静态方法类似普通方法，参数里面不用self。这些方法和类相关，但是又不需要类和实例中的任何信息、属性等等。如果把这些方法写到类外面，这样就把和类相关的代码分散到类外，使得之后对于代码的理解和维护都是巨大的障碍，而静态方法就是用来解决这一类问题的。因此可以认
scrapy-azuresearch-crawler-samples：Scrapy作为Azure搜索示例的Web爬网程序
01-30
scrapy-azuresearch-crawler-samples Scrapy作为Azure搜索示例的Web爬网程序 样品 ：Web Scraping的报价列表，并使用Azure搜索将它们编入索引 ：在东京进行Web爬网的工作，并使用Azure搜索对其进行索引 主义：Web...
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
10-01
Scrapy-Redis是一个基于Scrapy的分布式爬虫框架，它扩展了Scrapy的功能，使其能够处理大规模的网络抓取任务。Scrapy是一个流行的Python爬虫框架，而Scrapy-Redis则是将其与Redis数据库结合，利用Redis作为数据队列，...
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip
06-08
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip 该项目代码主要针对计算机、自动化等相关专业的学生从业者下载使用，项目代码都经过严格调试，确保可以运行！放心下载使用。 也可作为期末课程设计、...
scrapy-redis源码分析之发送POST请求详解
09-09
在Scrapy-Redis中实现POST请求的关键在于理解其工作流程和源码。Scrapy-Redis的核心类`RedisSpider`继承自`RedisMixin`和`Spider`。`RedisSpider`并不直接包含处理POST请求的方法，如`start_requests`或`make_...
docs-scrapy-org-en-1.8.zip
04-10
这个名为"docs-scrapy-org-en-1.8.zip"的压缩包包含了Scrapy 1.8版本的官方英文文档，是学习和理解Scrapy框架的重要资源。以下是基于Scrapy 1.8版本的几个关键知识点的详细说明： 1. **Scrapy架构**：Scrapy基于...
scrapy.crawler.CrawlerProcess
Claroja
09-04 2646
https://doc.scrapy.org/en/latest/topics/api.html#crawler-api 方法 描述 其他 crawl(crawler_or_spidercls, *args, **kwargs) 根据传入的参数启动一个爬虫 crawlers 查看已经添加的爬虫 create_crawler(craw...
Scrapy：运行爬虫程序的方式
aimianwo1708的博客
07-04 1330
Windows 10家庭中文版，Python 3.6.4，Scrapy 1.5.0， 在创建了爬虫程序后，就可以运行爬虫程序了。Scrapy中介绍了几种运行爬虫程序的方式，列举如下： -命令行工具之scrapy runspider（全局命令） -命令行工具之scrapy crawl（项目级命令） -scrapy.crawler.CrawlerProcess -scrapy...
scrapy源码分析（七）------------ Crawler
happyAnger6的专栏
12-04 9779
上一节讲了CrawlProcess的实现，讲了一个CrawlProcess可以控制多个Crawler来同时进行多个爬取任务，CrawlProcess通过调用Crawler的crawl方法来进行爬取，并通过_active活动集合跟踪所有的Crawler. 这一节就来详细分析一下Crawler的源码。 先分析构造函数的关键代码： scrapy/crawler.py: class C
【系列】scrapy启动流程源码分析(2)CrawlerProcess主进程
csdn_yym的博客
01-05 1714
CrawlerProcess主进程 它控制了Twisted的reactor，也就是整个事件循环。它负责配置reactor并启动事件循环，最后在所有爬取结束后停止reactor。 另外还控制了一些信号操作，使用户可以手工终止爬取任务。 此类在scrapy/crawler.py中定义，同文件内有三个类：Crawler、CrawlerRunner和CrawlerProcess。 scrapy/crawl...
scrapy 通过 CrawlerProcess 来同时运行多个爬虫
qq_41020281的博客
09-20 6354
直接上例子代码： # coding: utf8 from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings from werkzeug.utils import import_string, find_modules scope = 'all' process...
scrapy框架中Crawlspider模块源码剖析
python_lzt的博客
11-03 787
一、前言 1、scrapy从Terminal中通过genspider命令创建一个蜘蛛，其中包含四个模块，分别为spider，crawlspider，csvfeedspider和xmlfeedspider，其中spider(basic模块)和crawlspider最为常用。 2、做过web后台开发的都知道，很多网站中定义url都是有一定规则的（如django路由系统中定义的urls规则就是正则表达式...
使用Python和Scrapy进行Web爬虫的初学者指南。
01-23 350
什么是网页抓取？ Web抓取包括收集网站上可用的数据。这可以由人类手动或通过机器人来完成。这是一个从网站提取信息和数据，并将获得的信息转换为结构化数据以进行进一步分析的过程。网络抓取也称为网络收集或网络数据提取。 需要网络抓取 网络抓取有助于获取数据以用于分析趋势，性能和价格监控。它可用于对消费者进行情感分析，以获取新闻文章洞察，市场数据汇总，还用于预测分析和许多自然语言处理项目。网络抓取中使用了各种python库，其中包括： Pattern Scrapy Beautiful soup Req
schedule和CrawlerProcess定时执行多个爬虫
Voccoo的博客
01-09 1659
import smtplib,schedule # 通过CrawlerProcess同时运行几个spider from scrapy.crawler import CrawlerProcess from spiders.liepin_spider import LiepinSpiderSpider as lie_1 from spiders.liepin_spider_2 import Liepi...
Scrapy如何自定义User-Agent？
最新发布
09-01
在Scrapy中，自定义User-Agent是在项目设置（settings.py）文件中进行的。你需要找到`DOWNLOADER_MIDDLEWARES`部分，然后在这个字典中添加一个新的键值对，对应于`scrapy.downloadermiddlewares.useragent.UserAgentMiddleware`。这里是一个示例： ```python # settings.py DOWNLOADER_MIDDLEWARES = { 'scrapy_user_agent.middlewares.RandomUserAgentMiddleware': 400, } # 可能需要安装random-user-agent中间件 # pip install scrapy-random-useragent USER_AGENT_CHOICES = [ # 添加你的User-Agent选择列表 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.3", # 更多选择... ] RANDOM_UA = True # 是否随机选择User-Agent，默认True ``` 这会让Scrapy使用一个随机的选择列表作为User-Agent，确保每次请求看起来都不一样。记得定期更新这个列表以模拟更多真实的用户浏览器。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值