Scrapy框架

一、Scrapy框架

　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　Scrapy架构图（绿线是数据流向图）

　　1、Scrapy Engine(引擎): 负责 Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。
　　2、Scheduler(调度器): 它负责接受引擎发送过来的Request 请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
　　3、Downloader（下载器）：负责下载 Scrapy Engine(引擎)发送的所有 Requests 请求，并将其获取到的Responses交还给Scrapy   Engine（引擎）,由引擎交给Spider来处理。
　　4、Spider（爬虫）：它负责处理所有 Responses,从中分析提取数据，获取 Item 字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler（调度器）。
　　5、Item Pipeline(管道)：它负责处理 Spider 中获取到的 Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
　　6、Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
　　7、Spider Middlewares（Spider 中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（如：进入Spider的Responses；和从Spider出去的Requests）。

二、、Scrapy框架运行的机制

　　先从start_urls里获取第一批url并发送请求，请求由引擎交给调度器，入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提前处理：

　　1、若提取出所需的数据，则交给管道文件处理。

　　2、若提取出url，则继续之前的操作，直到请求队列里没有请求，程序结束。

转载于:https://www.cnblogs.com/I-love-Xiang/p/10098531.html