Scrapy流程
1、引擎: Hi spider ,你要处理一个网站。
2、spider: 老大要处理 http://xxx.com网站。
3、引擎:你给我第一个URL来处理
4、spider:给你,第一个网址http://xxx.com。
5、引擎:嗨!调度器,我有请求的请求,请帮我整理和加入队列。
6、调度器:好的,正在处理,你等一下。
7、引擎:嗨!调度器,把处理过的请求发给我。
8、调度器:给你。这是我的request。
9、引擎:Hi,下载器。你按照老大的下载中间件的设置帮我下载这个request请求。
10、下载器:好的!给你。这是我下载的东西。如果下载失败,这个request下载就是白了,然后引擎告诉调度器,这个request下载失败了,记录一下,我们待会儿在下载。
11、引擎:嗨,spider,这是下载好的东西,并且已经按照老下载中间件处理了,你自己处理一下(交给def parse()函数处理)。
12、spider:我这里有两个结果,引擎,这个是我需要的跟进的URL,这个是我获取的item数据。
13、引擎:Hi,管道,我这儿有个item,你帮我处理一下!调度器,这个是需要跟进的URL,你帮我处理一下。然后从第四部开始循环,指导获取老大需要的全部信息。
14、管道、调度器:现在就做!