scrapy框架流程
1、Scrapy从Spider子类中提取start_url,然后构造为request请求对象2、将request请求对象传递给爬虫中间件3、将request请求对象传递给Scrapy引擎(核心代码)4、将request请求对象传递给调度器(它负责对多个request安排,好比交通管理员负责指挥交通)5、将request请求对象传递给scrapy引擎6、Scrapy引擎将request请求对象传递给下载中间件(可以更换代理IP 更换cookie 更换user-agent,自动重试等)7、requ
复制链接