Scrapy入门教程

Scrapy入门教程：打造高效爬虫的第一步

1. 引言

在当今的网络世界中，信息是无价的资源。而爬虫工具则是获取这些资源的有力武器。Scrapy 是 Python 生态系统中最强大的爬虫框架之一，它不仅功能强大，而且易于扩展，适用于各种复杂的爬虫任务。本文将带你从零开始，了解和使用 Scrapy，逐步构建属于你自己的高效爬虫。
官方文档

2. 什么是Scrapy？

Scrapy 是一个用于提取网站数据的开源和协作的 Python 爬虫框架。它设计用于高效且简单地提取所需的数据，并支持大规模的数据抓取。Scrapy 的设计目标包括简化代码复用、使开发者能专注于编写爬取逻辑而非繁琐的请求管理或响应处理。

3. 安装Scrapy

在开始使用 Scrapy 之前，你需要确保你的系统已经安装了 Python。推荐使用 Python 3.7 及以上版本。

你可以通过以下命令来安装 Scrapy：

pip install scrapy

安装完成后，可以通过以下命令确认 Scrapy 是否安装成功：

scrapy

如果看到 Scrapy 的帮助文档输出，说明安装成功。

4. 创建第一个Scrapy项目

首先，在你的工作目录下创建一个新的 Scrapy 项目：

scrapy startproject myproject

这将会在当前目录下创建一个名为 myproject 的文件夹，并生成 Scrapy 项目的基本结构。

项目结构如下：

myproject/
    scrapy.cfg
    myproject/
        __init__.py
        items.py
        middlewares.py
        pipelines.py
        settings.py
        spiders/
            __init__.py

每个文件和文件夹都有特定的作用：

• scrapy.cfg：项目的配置文件。
• items.py：定义爬取的数据结构。
• middlewares.py：用于定义和处理请求或响应的中间件。
• pipelines.py：用于定义数据处理流程，如保存到数据库。
• settings.py：全局配置文件，如设置并发数、请求头等。
• spiders/：存放所有的爬虫代码。

5. 编写第一个爬虫

接下来，我们将创建一个简单的爬虫，用于爬取网站的数据。假设我们要抓取一个名为 quotes.toscrape.com 的网站上的名人名言。

在 spiders/ 目录下创建一个名为 quotes_spider.py 的文件，并输入以下内容：

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

6. 运行爬虫

编写完爬虫后，可以通过以下命令来运行它：

scrapy crawl quotes

这个爬虫将会抓取每一页的名言，并输出到终端中。

7. 提取和处理数据

Scrapy 提供了多种方法来提取网页数据，常用的有 CSS 选择器和 XPath。你可以根据你的需求选择适合的方法。例如，在上述代码中，我们使用了 CSS 选择器提取名言的文本、作者和标签。

8. 数据存储

Scrapy 支持将数据存储为 JSON、CSV 等格式，只需在运行爬虫时指定输出文件即可。例如：

scrapy crawl quotes -o quotes.json

这将会将爬取的数据保存到 quotes.json 文件中。

9. 处理多页面抓取

在实际项目中，通常需要处理多个页面的数据抓取。Scrapy 的 response.follow 方法可以帮助你在不同页面之间导航，并递归地抓取数据。

在上面的示例中，我们使用了 response.follow 方法递归抓取每一页的数据，直到没有下一页为止。

10. 使用 Scrapy Shell 进行调试

Scrapy 提供了一个强大的交互式命令行工具——Scrapy Shell，可以方便地调试和测试你的爬虫。你可以使用以下命令进入 Scrapy Shell：

scrapy shell 'http://quotes.toscrape.com/page/1/'

在 Scrapy Shell 中，你可以使用 CSS 选择器或 XPath 直接提取网页数据，方便调试爬虫代码。

11. 处理请求和响应

Scrapy 提供了强大的中间件机制，你可以通过自定义中间件来处理请求和响应。中间件可以用来处理诸如随机用户代理、请求重试等操作。

12. 使用 Pipelines 处理数据

Scrapy 的 Pipelines 用于对抓取到的数据进行进一步的处理或保存到数据库中。在 pipelines.py 中定义的 pipeline 类将会自动调用并处理每一条数据。

例如，你可以将数据保存到 MongoDB 中：

import pymongo

class MongoPipeline:

    def open_spider(self, spider):
        self.client = pymongo.MongoClient("mongodb://localhost:27017/")
        self.db = self.client["quotes_db"]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db["quotes"].insert_one(dict(item))
        return item

13. 调整爬虫设置

Scrapy 提供了丰富的配置选项，可以通过 settings.py 文件进行调整。例如，你可以设置下载延迟、并发请求数、用户代理等。

# 设置下载延迟为2秒
DOWNLOAD_DELAY = 2

# 设置用户代理
USER_AGENT = 'my-scrapy-bot (+http://mywebsite.com)'

14. 总结

通过本文，你已经了解了 Scrapy 的基础知识，并且成功创建了一个简单的爬虫。Scrapy 是一个非常灵活且功能强大的工具，适用于从简单到复杂的各种爬虫任务。随着你对 Scrapy 的进一步学习，你将会发掘更多的高级特性，例如分布式爬虫、异步处理、自定义中间件等。

接下来，你可以尝试使用 Scrapy 爬取自己感兴趣的网站，并将数据存储到数据库或文件中。不断练习和探索，Scrapy 将成为你在数据采集领域的强大工具。