Scrapy的基本使用

Scrapy的介绍

Scrapy包含了爬虫的所有的单元，并且提供了很多有用的中间插件，可以自由控制，便捷使用，Scrapy框架流行图如下：

下面对最主要的组件进行介绍：

• Scrapy Engine （引擎）：负责所有的组件数据传递。
• Scheduler （调度器）：负责接收引擎发送的请求并排入队列，当引擎请求时，在传递给引擎。
• Downloader （下载器）：接收引擎传递的请求并下载页面数据，然后将其获取到的响应 传递给引擎，由引擎传递给spider进行处理。
• Spider (爬虫) ：用户主要编写的爬虫文件就是此文件，负责爬取数据。
• Item Pipeline (管道) : 负责处理从Spider中获取到的Item，进行过滤，存储等操作。

Scrapy项目的创建

第一步：Scrapy startproject 项目名

 

 

 第二部：首先 cd 爬虫名  （防止创建到其他目录中）

                然后   Scrapy genspider  爬虫名  域名

如果没报错就代表创建成功，可以在pychram中打开创建的目录会出现以下文件：

 出现以上文件就代表你已成功创建你的第一个Scrapy爬虫了。

spiders文件夹：就是你创建的爬虫，你所创建的爬虫都会保存在这个文件中。

items.py文件：决定爬取那些项目。是Scrapy中最简单的一项。

pipelines.py文件：决定爬取的内容如何处理。

settings.py文件：决定谁去处理爬取的内容。

如果各项文件都写好，可以通过以下命令运行爬虫（基于终端命令进行运行）：

Scrapy  crawl  爬虫名