(python简单的架构思想)爬虫scrapy框架中的spider的底层是怎么实现的
scrapy作为爬虫比较成熟框架,现在用的是最多的爬虫框架,当然,除了自己开发的框架;crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。Downloader...
原创
2019-10-03 16:54:25 ·
420 阅读 ·
0 评论