Python爬虫-scrapy不完全手册

Python爬虫-scrapy

Scrapy是一个应用程序框架，用于对网站进行爬行和提取结构化数据，这些结构化数据可用于各种有用的应用程序，如数据挖掘、信息处理或历史存档。

scrapy架构理解

结构解释

spiders（爬虫）:负责处理Responses，从中提取出数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)
Engine（引擎）：负责spider、ItemPipeline、downloader、scheduler中间的通讯、信号、数据传递。
Scheduler（调度器）：接收引擎发送来的request请求，并进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
ItemPipeline(管道):它负责处理Spider中获取到的Item，并进行后期处理（详细分析、过滤、存储等）的地方.
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。（代理、cokies等）。
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间

流程解释

①：SPIDERS的yeild函数将request发送给ENGINE
②：ENGINE对request不做任何处理发送给SCHEDULER
③：SCHEDULER( url调度器)，将安排好的request交给ENGINE
④：ENGINE拿到request，通过MIDDLEWARE进行层层过滤发送给DOWNLOADER
⑤：DOWNLOADER在网上获取到response数据之后，又经过MIDDLEWARE进行层层过滤发送给ENGINE
⑥：ENGINE获取到response数据之后，返回给SPIDERS，SPIDERS的parse()方法对获取到的response数据进行处理，解析出items或者requests
⑦：将解析出来的items或者requests发送给ENGINE
⑧：ENGIN获取到items或者requests，将items发送给ITEMPIPELINES，将requests发送SCHEDULER。 注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

使用指南

安装scrapy库

pip(conda) install scrapy

创建新项目

首先进入需要保存项目的文件夹，本例：‘scrapy_test’
在终端中输入以下命令，创建初始项目，并命名为：maitian：

scrapy startproject maitian   #项目名不区分大小写

回车执行后，会生成一个名为’maitian’的文件夹，里面包含初始文件。如下图所示：

其中：

• items.py 设置数据存储模板，用于结构化数据，明确你想要抓取的目标

• pipelines 数据处理行为，如：设计管道，存储爬取内容

• settings.py 配置文件，如：递归的层数、并发数，延迟下载，数据库接口，等

• spiders 爬虫目录，如：创建文件，编写爬虫规则

实施爬虫

定义Item文件

Item 是用来保存爬取到的数据的容器，将需要爬取的内容与Field()定义的属性对应。

import scrapy


class MaitianItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field() #标题
    price = scrapy.Field() #价格
    mianji = scrapy