Python爬虫——利用Scrapy批量下载图片

项目创建

首先在终端创建项目

win4000为项目名

$ scrapy startproject win4000

该命令将创建下述项目目录。

项目预览

查看项目目录

• win4000

• win4000

• spiders

• __init__.py

• __init__.py

• items.py

• middlewares.py

• pipelines.py

• settings.py

• scrapy.cfg

创建爬虫文件

进入spiders文件夹，根据模板文件创建爬虫文件

$ cd win4000/win4000/spiders

pictures 为 爬虫名

$ scrapy genspider pictures “win4000.com”

项目组件介绍

1. 引擎(Scrapy)：核心组件，处理系统的数据流处理，触发事务。

2. 调度器(Scheduler)：用来接受引擎发出的请求, 压入队列中, 并在引擎再次请求的时候返回。由URL组成的优先队列, 由它来决定下一个要抓取的网址是什么，同时去除重复的网址。

3. 下载器(Downloader)：用于下载网页内容, 并将网页内容返回给Spiders。

4. 爬虫(Spiders)：用于从特定的网页中提取自己需要的信息, 并用于构建实体(Item)，也可以从中提取出链接,让Scrapy继续抓取下一个页面

5. 管道(Pipeline)：负责处理Spiders从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被Spiders解析后，将被发送到项目管道。

6. 下载器中间件(Downloader Middlewares)：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

7. 爬虫中间件(Spider Middlewares)：介于Scrapy引擎和爬虫之间的框架，主要工作是处理Spiders的响应输入和请求输出。

8. 调度中间件(Scheduler Middewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy爬虫流程介绍

Scrapy基本爬取流程可以描述为UR2IM(URL-Request-Response-Item-More URL)：

1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取；

2. 引擎把URL封装成一个请求(Request)传给下载器；

3. 下载器把资源下载下来，并封装成应答包(Response)；

4. 爬虫解析Response；

5. 解析出实体（Item）,则交给实体管道进行进一步的处理；

6. 解析出的是链接（URL）,则把URL交给调度器等待抓取。

页面结构分析

1. 首先查看目标页面，可以看到包含多个主题，选取感兴趣主题，本项目以“风景”为例(作为练习，也可以通过简单修改，来爬取所有模块内图片)。

2. 在“风景”分类页面，可以看到每页包含多个专题&