Scrapy的介绍
Scrapy包含了爬虫的所有的单元,并且提供了很多有用的中间插件,可以自由控制,便捷使用,Scrapy框架流行图如下:
下面对最主要的组件进行介绍:
- Scrapy Engine (引擎):负责所有的组件数据传递。
- Scheduler (调度器):负责接收引擎发送的请求并排入队列,当引擎请求时,在传递给引擎。
- Downloader (下载器):接收引擎传递的请求并下载页面数据,然后将其获取到的响应 传递给引擎,由引擎传递给spider进行处理。
- Spider (爬虫) :用户主要编写的爬虫文件就是此文件,负责爬取数据。
- Item Pipeline (管道) : 负责处理从Spider中获取到的Item,进行过滤,存储等操作。
Scrapy项目的创建
第一步:Scrapy startproject 项目名
第二部:首先 cd 爬虫名 (防止创建到其他目录中)
然后 Scrapy genspider 爬虫名 域名
如果没报错就代表创建成功,可以在pychram中打开创建的目录会出现以下文件:
出现以上文件就代表你已成功创建你的第一个Scrapy爬虫了。
spiders文件夹:就是你创建的爬虫,你所创建的爬虫都会保存在这个文件中。
items.py文件:决定爬取那些项目。是Scrapy中最简单的一项。
pipelines.py文件:决定爬取的内容如何处理。
settings.py文件:决定谁去处理爬取的内容。
如果各项文件都写好,可以通过以下命令运行爬虫(基于终端命令进行运行):
Scrapy crawl 爬虫名