超级会员免费看
本文概述了scrapy爬虫的执行流程，重点解释了命令行执行模块cmdline、ScrapyCommand、CrawlerProcess和Crawler的工作原理。通过执行引擎ExecutionEngine，利用twisted的异步编程模型，控制spider的生命周期和任务调度。后续教程将深入探讨各模块的关键代码实现。
scrapy是一个基于twisted实现的开源爬虫，要读懂其源码，需要对twisted的异步编程模型有一定了解。可以通过之前3篇deferred的相关教程了解。
下面是总结的执行一个爬虫任务的整体执行流程，请将图片放大查看，即运行"scrapy crawl xxxSpider"的执行流程：
流程中主要的颜色框的含义如下 ：
1.红色框是模块或者类。
2.紫色框是向模块或者类发送的消息，一般为函数调用。
3.红色框垂直以下的黑色框即为本模块或者对象执行流程的伪代码描述。
几个关键的模块和类介绍如下：
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
