scrapy框架数据流程

背景简介：scrapy框架分为5+2结构，

5指的是spider模块、Engine模块、Scheduler（调度模块）、Downloader模块、PipleLine模块

2指的是DownloaderMiddleware和SpiderMiddleware

我探讨的问题是：在scrapy中定义的start_request（）方法在什么时候被调用？

在工程执行时，start_request()会被自动调用一次，若其中只有一次yield，则在这一次就产生了Request（请求）。

若start_request()中有一个循环，有多个请求，那么这个方法第二次被调用时什么时候呢？

我在中间件中设置了一个延时函数(time.sleep(delay)),delay为一个随机时间，然后在这个函数后输出一个内容，用于让我知道这个延时函数已经运行完了。

然后运行程序，输出的结果为：

可以从图中看到是在执行了time.sleep()函数后，再进行的下一次请求。所以我猜测start_request()函数的再次被调用发生在上一次请求经过下载中间件，传给下载模块后。

我也通过显示字符串的方法，得知在Pipleline模块中的process_item函数被调用执行完成后，爬虫模块中的请求解析函数（parse）会被再次调用。