python pipeline框架_Scrapy-1.强大与全面的Python爬虫开源框架

图标.png

简介

Scrapy是一个开源的爬虫框架，目前在Python爬虫领域基本处于一家独大的地位，只要说起Python的开源爬虫框架，那基本指的都是Scrapy。

在Scrapy的官网上，则宣称的是Scrapy是一个快速、简单、容易扩展的爬虫框架。Scrapy确实是容易扩展的，通过各种管道(Pipeline)和中间件(Middleware)，能够非常方便的扩展Scrapy的功能。但其实相对来说，做一些简单的、抓取量小的任务时，Scrapy是比较笨重的，这种任务更适合使用Requests去做。

而如果你抓取的数据量较大的话，使用Scrapy是非常合适的，因为底层是基于Twisted，所以Scrapy是天生异步的，就基本不用再去额外的考虑并发的问题了。同时它提供了对于爬虫来说非常全面的功能，而且扩展功能跟二次定制也很方便。配合类似于Scrapy-redis之类的库也可以很简单的实现分布式的爬虫。

安装

在Linux以及Mac系统上，安装Scrapy非常方便，使用pip安装即可：

pip install Scrapy

但是如果在windows系统上安装的话，会遇到一个非常麻烦的问题，Scrapy的依赖库Twisted安装不上，会导致安装失败。这个问题可以用以下办法解决。

到下面这个网址去下载Twisted已经编译好的wheel文件安装，安装好后再使用pip安装Scrapy。

wheel文件的安装方法请自行百度。

架构

Scrapy的整体运行流程如下图所示：

架构图.png

组件

Scrapy的很大一个优点就是其组织架构清晰，整体结构由一个个组件构成，每个组件负责各自的功能。

其主要的运行流程中有如下几个最主要的组件：

Engine

引擎，整个爬虫系统的数据流程处理，都由Engine来进行触发 ，是Scrapy的核心。

Scheduler

调度器，负责维护Request的队列，将Engine传递过来的Request放入队列之中，并在Engine请求时将一个Request交给Engine。

Downloader

下载器，根据接收到的Request，去下载相应的网页内容，并生成Response返回给Spider。

Spider

爬虫，这个部分常常由我们自己编写，在Spider中需要定义网页抓取和解析的所有流程和规则。

Item

数据，也就是在Spider中抓取网页并解析后，我们最终要获得的数据结果，在Scrapy中专门定义了这样一个数据结构用于保存抓取到的数据。格式和使用方式与字典类似。

Item Pipeline

数据管道，负责处理在Spider中得到的Item。这个Pipeline主要用处就是清洗数据，处理数据，存储数据。

Downloader Middleware

下载器中间件，处于Downloader与Engine之间。

Spider Middleware

爬虫中间件，处于Spider和Engine之间。

数据流

在Scrapy中，数据流基本由Engine控制，Engine就好像一颗心脏，不断地推动整个数据流的流动。以下是数据流的基本流程：

Engine首先会打开一个起始url，并找到相对应的Spider来处理这个url访问返回的响应结果。

在Spider的处理过程中，会将接下来要访问的url包装成Request，Engine会将Request从Spider取出，交给Scheduler进行调度。

Engine从Scheduler获取一个Request。

Engine将获取到的Request经由下载器中间件（Downloader Middleware）发送给Downloader进行下载并生成相应的Response。

Engine从Downloader获取一个Response。

Engine将获取的Response经由爬虫中间件（Spider Middleware）发送给相对应的Spider，由Spider来对Response进行解析。

在解析过程中，可能会产生两种产物，一种是Item，一种是Request。产生的Request会再次沿着步骤1的流程运行下去，而产生的Item则会进入下一步。

Engine从Spider获取一个Item。

Engine将获取的Item发送给Item Pipeline进行相对应的存储、清洗等处理。

Item Pipeline处理的过程中，同样可能会生成新的Request，这时候生成的Request会直接放入Scheduler中，从步骤3再次执行下去。

使用方式

Scrapy的主要使用方式是命令行，例如，开始一个Scrapy爬虫的第一步是创建一个Scrapy项目，而这一步需要使用命令行来完成，在命令行中输入以下命令：

scrapy startproject projectname

projectname则是你创建的项目的名称，命令执行之后会在当前目录下生成一个如下结构的目录：

projectname/

scrapy.cfg # 部署的配置文件

projectname/ # 项目的Python模块，导入自己代码的话需要从这里导入

spiders/ # 一个将会存放你的爬虫的目录

__init__.py

__init__.py

items.py # 配置Item的文件

middlewares.py # 配置中间件的文件

pipelines.py # 配置管道的文件

settings.py # 项目的配置文件

这个目录相当于是一个Scrapy给你定制好的模板，节省了我们许多的时间，我们只需要按照Scrapy的规则在相应的文件中编写代码，就可以很快速的完成一个爬虫项目。

在创建好了项目后，就要开始编写爬虫了，同样的，Scrapy提供了一个命令，能让我们快速的生成一个Spider模板放到spiders目录中，cd到项目目录中，输入以下命令：

scrapy genspider spidername mydomain.com

spidername指的是你创建的Spider名称，mydomain.com则是你这个爬虫抓取目标的域名。

命令执行后会在spiders目录下生成一个如下的spidername.py文件：

# -*- coding: utf-8 -*-

import scrapy

class SpidernameSpider(scrapy.Spider):

name = 'spidername'

allowed_domains = ['mydomain.com']

start_urls = ['http://mydomain.com/']

def parse(self, response):

pass

这就是一个标准的Spider模板了，具体如何在这个模版中编写Spider，在之后的文章中会详细讲到。

在写好Spider之后，就可以使用命令来运行这个Spider了：

scrapy crawl spidername

从这里开始，你的爬虫就可以欢快的开始运行了。

系列文章：