with_dream的博客

1、整体架构engine负责数据的转发/调度工作spiders 发起请求requests经过engine引擎engine发送到调度器scheduler进行排队，去重将排好队的请求再次发给引擎engine引擎将请求经过下载中间件（加头，加代理，加cookie，集成selenium）给下载器，异步发请求将返回的数据经过中间件返回给引擎引擎将返回的数据经过爬虫中间件返回给解析解析后将数据再次经过爬虫中间件给引擎，如果解析的数据中还有请求requests对象会继续走2 3 4 5 6 7 8引

https://blog.csdn.net/u014738683/article/details/780724841、安装idea2、安装python插件需要注意python可能有多个安装位置3、brew install pip安装pip4、pip3 install scrapy 可能会失败 再试几次5、创建scrapy startproject tutorial6、在spiders目录下创建Spiderimport scrapy;class QuotesSpider(scrapy.Sp