Scrapy爬虫框架

Scrapy爬虫框架

爬虫框架是实现爬虫功能框架的一个软件结构和功能组件集合

它可以分为如下的几个部分：

①Engine。引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。
②Item。项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。
③Scheduler。调度器，接受引擎发过来的请求并将其加入到队列中，在引擎再次请求的时候将请求提供给引擎。
④Downloader。下载器，下载网页内容，并将网页内容返回给蜘蛛。
⑤Spiders。蜘蛛，其内定义了爬取的逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。
⑥Item Pipeline。项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。
⑦Downloader Middlewares。下载器中间件，位于引擎和下载器之间的钩子框架，主要处理引擎与下载器之间的请求及响应。
⑧Spider Middlewares。蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应和输出的结果及新的请求。

数据流

Scrapy中的数据流由引擎控制，数据流的过程如下：
①Engine首先打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取的URL。
②Engine从Spider中获取到第一个要爬取的URL，并通过Scheduler以Request的形式调度。
③Engine向Scheduler请求下一个要爬取得URL。
④Scheduler返回下一个要爬取的URL给Engine，Engine将URL通过Downloader Middlewares转发给Downloader下载。
⑤一旦页面下载完毕，Downloader生成该页面的Response，并将其通过Downloader Middlewares发送给Engine。
⑥Engine从下载器中接收到Response，并将其通过Spider Middlewares发送给Spider处理。
⑦Spider处理Response，并返回爬取到的Item及新的Request给Engine。
⑧Engine将Spider返回的Item给Item Pipeline，将新的Request给Scheduler。
⑨重复第2步到第8步，直到Scheduler中没有更多的Request，Engine关闭该网站，爬取结束。
通过多个组件的相互协调、不同组件完成工作的不同、组件对异步处理的支持，Scrapy最大限度地利用了网络带宽，大大提高了数据爬取和处理的效率。
————————————————
版权声明：本文为CSDN博主「又笨又懒的猪」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43496455/article/details/98469624