Python网络爬虫--Scrapy入门

Scrapy入门

1、下载Scrapy

pip install Scrapy

2、 架构介绍

1. Scrapy Engine：引擎。处理整个系统的数据流处理、触发事务，是整个框架的核心
2. Item：项目。它定义了爬取结果的数据结构、爬取的数据会被赋值成该Item对象
3. Scheduler：调度器。用于接受Engine发过来的url，并将其加入到队列中。在Engine需要的时候，将url提供给Engine
4. Downloader：下载器。下载网页内容，并将网页内容返回给Spiders
5. Spiders：蜘蛛。定义了爬取的逻辑和网页的解析规则，它主要负责解析响应，并生成提取结果和新的url
6. Item Pipeline：项目管道。负责处理由Spiders从网页中抽取的项目，它的主要任务是清洗、验证和存储数据
7. Downloader Middlewares：下载器中间件。位于引擎和下载器之间的钩子框架，主要处理引擎与下载器之间的请求及响应
8. Spider Middlewares：Spider中间件。位于引擎和Spider之间的钩子框架，主要处理向Spider输入的响应和输出的结果及新的请求

3、执行流程

1. Engine首先打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取的url
2. Engine从Spider中获取到url之后，通过Scheduler将url以Request的形式调度
3. Engine向Scheduler请求下一个要爬取的url
4. Scheduler返回下一个url给Engine，Engine将url通过Downloader Middlewares转发给Downloader下载
5. 一旦页面下载完毕，Downloader生成该页面的Requests，并将其通过Downloader Middlewares转发给Engine
6. Engine从下载器中接收到Respone，并将其通过Spider Middlewares发送给Spider处理
7. Spider处理Response，并返回提取到的Item及新的Requet给Scheduler
8. Engine将Spider返回的Item给Item Pipeline，将新的Request给Scheduler
9. 重复2~7，直到Scheduler中没有更多的Request，Engine关闭该网站，爬取结束

4、项目结构

scrapy.cfg
project/
	__init__.py
	items.py
	pipelines.py
	settings.py
	middlewares.py
	spliders/
		__init__.py
		spider1.py
		spider2.py
		...

• scrapy.cfg：Scrapy项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容
• items.py：定义Item数据结构，存放所有的Item的定义
• pipelines.py：定义Item Pipeline的实现，存放了所有的Item Pipeline
• settings.py：项目的全局配置
• middlewares.py：定义Spider Middlewares和Downloader Middlewares的实现
• spiders：包含一个个Spider的实现