【Scrapy】深入了解 Scrapy 下载中间件中的 from_crawler 方法

---

准我快乐地重饰演某段美丽故事主人
饰演你旧年共寻梦的恋人
再去做没流着情泪的伊人
假装再有从前演过的戏份
重饰演某段美丽故事主人
饰演你旧年共寻梦的恋人
你纵是未明白仍夜深一人
穿起你那无言毛衣当跟你接近
                     🎵 陈慧娴《傻女》

---

Scrapy 是一个强大且灵活的爬虫框架，允许用户通过中间件（middlewares）来扩展和定制爬虫的行为。下载中间件（Downloader Middleware）是 Scrapy 中的重要组件之一，用于在请求和响应阶段进行处理。在编写自定义中间件时，from_crawler 方法是一个非常重要的工具，它允许中间件访问 Scrapy 的核心组件和设置。本文将详细介绍 Scrapy 下载中间件中的 from_crawler 方法。

什么是 from_crawler 方法？

from_crawler 是一个类方法，用于初始化中间件实例，并将 Scrapy 的 Crawler 对象传递给它。Crawler 对象包含了整个 Scrapy 运行时环境，包括配置、信号和扩展等。通过 from_crawler 方法，中间件可以轻松访问这些资源，从而实现更复杂的功能。

为什么使用 from_crawler 方法？

在编写自定义中间件时，有时需要访问 Scrapy 的配置信息、信号或其他核心组件。from_crawler 方法使这一过程变得简单和直观。它的主要优势包括：

• 访问配置：可以轻松获取 Scrapy 的设置（settings）。
• 连接信号：能够注册和处理 Scrapy 的信号（signals）。
• 统一初始化：提供一种统一的方式来初始化中间件实例。

如何实现 from_crawler 方法？

下面是一个具体示例，展示如何在自定义下载中间件中实现 from_crawler 方法。

示例：自定义代理中间件

假设我们要编写一个自定义的下载中间件，用于随机更换代理。我们希望代理列表可以从 Scrapy 的设置中获取，并且在每次请求时随机选择一个代理。

首先，我们在 Scrapy 项目的 middlewares.py 文件中定义中间件：

import random
import logging

class RandomProxyMiddleware:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list
        self.logger = logging.getLogger(__name__)

    @classmethod
    def from_crawler(cls, crawler):
        # 获取 Scrapy 配置中的代理列表
        proxy_list = crawler.settings.get('PROXY_LIST')
        return cls(proxy_list)

    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_list)
        request.meta['proxy'] = proxy
        self.logger.info(f'Using proxy: {proxy}')

配置中间件

在 Scrapy 的 settings.py 文件中，添加代理列表并启用自定义中间件：

# settings.py

# 代理列表
PROXY_LIST = [
    'http://123.456.789.1:8080',
    'http://987.654.321.0:8080',
    'http://192.168.1.1:8080',
    # 添加更多代理
]

# 启用自定义中间件
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RandomProxyMiddleware': 543,
}

中间件的工作流程

• 初始化：当 Scrapy 启动时，from_crawler 方法被调用，并传入 crawler 对象。中间件从 crawler.settings 中获取代理列表，并实例化 RandomProxyMiddleware。
• 处理请求：每次 Scrapy 发出请求时，process_request 方法被调用。中间件从代理列表中随机选择一个代理，并将其添加到请求的 meta 属性中。
• 记录日志：中间件会记录使用的代理信息，方便调试和监控。

结论

from_crawler 方法是 Scrapy 中间件中一个非常重要的工具，允许开发者在初始化中间件时访问 Scrapy 的核心组件和配置信息。通过使用 from_crawler 方法，可以轻松地从设置中获取所需的信息，并在中间件中实现复杂的逻辑。在实际项目中，充分利用 from_crawler 方法可以使中间件更加灵活和强大。