Python爬虫-5-scrapy框架-request

Scrapy 介绍

Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据

特点：数据结构化、分布式

 

Scrapy主要包括了以下组件：

 

1）引擎，用来处理整个系统的数据流处理，触发事务。

2）调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。

3）下载器，用于下载网页内容，并将网页内容返回给蜘蛛。

4）蜘蛛，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。

5）项目管道，负责处理有蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

6）下载器中间件，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

7）蜘蛛中间件，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。

8）调度中间件，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

 

 

Scrapy 安装

1.安装步骤

（1）安装依赖包

① 安装lxml

pip install lxml

② 安装Twisted

▲ 安装wheel：pip3 install wheel

▲ 下载Twisted包

• 下载链接：https://www.lfd.uci.edu/~gohlke/pythonlibs/