玩转Python-Scrapy（二）：Spider爬虫类

预先准备

在开始前，我们先按scrapy官方文档提供的方法新建一个示例项目：

在安装好了scrapy后，在命令行scrapy项目部署的目录中运行以下命令，新建名为tutorial的项目：

scrapy startproject tutorial

接着，我们就应该会获得一个有如下目录结构的scrapy项目：

tutorial/
    scrapy.cfg            # deploy configuration file

    tutorial/             # project's Python module, you'll import your code from here
        __init__.py

        items.py          # project items definition file

        pipelines.py      # project pipelines file

        settings.py       # project settings file

        spiders/          # a directory where you'll later put your spiders
            __init__.py

---

接着在项目的spiders目录下新建一个python文件，命名为demo_spider.py，并写入如下内容：

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        urls = [
            'https://movie.douban.com/tag/#/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

Spider爬虫类是scrapy中最核心的类，它定义了目标网站将如何被scraped，包括如何执行爬取操作（crawl）/遍历链接，以及如何从链接对应的页面中提取结构化数据（即scraping items）。

Scrap流程

Spider的scraping流程如下：

1. 首先生成最初始的请求（Requests）以爬取第一批urls，并且要实现一个回调函数以在获得从请求那儿下载的响应体时调用。第一批爬取的请求是通过调用start_requests()方法获得的，它将针对start_urls参数中指定的urls生成Request请求对象，并将parse方法作为生成请求后的回调函数。

2.  在回调函数（parse（））中，我们可以将响应（页面）进行转换，并选择返回提取数据、Item对象、Request对象的字典，或者返回这些对象的一个迭代。这些Requests将会包含一个回调函数，并且将在之后被Scrapy下载并用具体的回调去处理它们的响应。

3.  在回调函数中，我们一般会用选择器（Selectors）转换页面内容（其实也可以用BeautifulSoup，lxml或者其它类似的html请求解析工具），并生成有转换数据的项（items）。

4.  最后，从spider返回的项一般会被持久化到一个数据库（通过一些项管道（item pipeline）），或者写到文件中。（通过Feed exports）

Spider类成员

class scrapy.spiders.Spider

这是最简单的爬虫类，也是所有其它类型的爬虫必须继承的一个类（包括其它scrapy中预定义的爬虫类，以及我们基于scrapy框架自己编写的爬虫类）。该类不提供任何特别的功能，只提供了默认的start_requests()实现，该方法将会从start_urls参数中拿url并向对应url发送请求，并调用类方法parse（）对从请求处返回的相应进行处理。

• name

  这个唯一定义一个爬虫的字符串，scrapy框架将通过name属性定位spider类并实例化它，所以任何一个爬虫类的name必须是独一无二的。（当然，多次实例化同一个spider类是没问题的）。

而如果一个爬虫只scrape一个域名的网站，那么通常的做法是将爬虫用对应域名来命名（去除TLD顶级域名部分），比如一个爬取baidu.com的网站，就可以设置其name为baidu，而不要com部分。

• allowed_domains

这是一个可选的字符串列表，它定义了spider允许爬取的域名。如果参数OffsiteMiddleware被启用的话，任何来自非定义允许爬取域名的url的对应请求都将不会被处理。

• start_urls

  一个url的列表，一般没有特别声明的url时，spider将从该列表开始爬取工作。后续的url将会从这些声明好的url中包含的数据中生成。

• logger

  随Spider的name属性一起创造的日志。可以通过logger来发送信息。

• start_requests（）

  这个方法必须返回一个spider用于爬取的，来自最开始的Requests的迭代。Scrapy将在开启一个spider的scrap工作时调用该方法，并只调用一次。

  默认的实现会针对每个start_urls参数中的url生成Request(url,dont_filter=True)

  如果我们要自定义用于开启爬取一个域名的Requests，我们就需要重写这个方法。比如，如果我们想通过一个POST请求以登录作为爬取的预备工作，我们就可以这样：

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        return [scrapy.FormRequest("http://www.example.com/login",
                                   formdata={'user': 'john', 'pass': 'secret'},
                                   callback=self.logged_in)]

    def logged_in(self, response):
        # here you would extract links to follow and return Requests for
        # each of them, with another callback
        pass

• parse(response)

当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。

parse 负责处理response并返回处理的数据以及(/或)跟进的URL。 Spider 对其他的Request的回调函数也有相同的要求。

该方法及其他的Request回调函数必须返回一个包含 Request 及(或) Item 的可迭代的对象。

参数: response (Response) – 用于分析的response

• closed(reason)

当spider关闭时，该函数被调用。 该方法提供了一个替代调用signals.connect()来监听 spider_closed 信号的快捷方式。