ExecutionEngine是scrapy的核心模块之一,顾名思义是执行引擎。
它驱动了整个爬取的开始,进行,关闭。
它又使用了如下几个主要模块来为其工作:
1.slot:它使用Twisted的主循环reactor来不断的调度执行Engine的"_next_request"方法,这个方法也是核心循环方法。下面的
流程图用伪代码描述了它的工作流程,理解了它就理解了引擎的核心功能。
另外slot也用于跟踪正在进行下载的request。
2.downloader:下载器。主要用于网页的实际下载
3.scraper:数据抓取器。主要用于从网页中抓取数据的处理。也就是ItemPipeLine的处理。
根据上面的分析可知,主要是_next_request在不断的进行工作,因此这个函数重点分析,流程图如下:
流程详解:
1.这个_next_request方法有2种
scrapy源码分析(二)----------ExecutionEngine(一)主循环
最新推荐文章于 2022-07-11 07:36:00 发布
本文深入探讨Scrapy的ExecutionEngine,它是爬虫的核心组件,利用Twisted reactor驱动请求调度。ExecutionEngine包含slot(负责调度和跟踪请求)、下载器(处理网页下载)和数据抓取器(负责数据提取)。核心方法_next_request通过两种方式触发,从队列中获取请求并由下载器异步下载。当满足特定条件时,ExecutionEngine会检查是否需要暂停或关闭。后续教程将进一步解析下载器、slot和数据scraper的工作细节。
摘要由CSDN通过智能技术生成