scrapy-爬虫工具-工作流程图:
scrapy运行流程
1、Engine开始统揽全局,向Spider索要URL
2、Engine拿到url后,给Scheduler(调度器)入队列
3、Scheduler从队列中拿出url给Engine,通过Downloader Middlewares
给Downloader去下载
4、Downloader下载完成,把response给Engine
5、Engine把response通过Spider Middlewares给Spider
6、Spider处理完成后,把数据给Engine,交给Item Pipeline处理,
把新的URL给Engine,重复2-6步
7、Scheduler中没有任何Requests请求后,程序结束