scrapy如何将response.follow加入到中间件里

你可以使用自定义的 Scrapy 中间件来处理 response.follow() 请求。

首先，在你的 Scrapy 项目中创建一个中间件文件，然后在这个文件中定义一个新的中间件类。在这个类中，你需要实现以下三个方法：

from scrapy import signalsclass MyMiddleware:
    def __init__(self):
        # 在这里初始化中间件
        pass

    @classmethod
    def from_crawler(cls, crawler):
        # 创建中间件实例，并将其绑定到信号
        middleware = cls()
        crawler.signals.connect(middleware.spider_opened, signals.spider_opened)
        return middleware

    def process_request(self, request, spider):
        # 在这里处理 response.follow() 请求
        if request.callback == "parse":
            request = request.replace(callback=self.parse)
        return request

    def parse(self, response):
        # 在这里处理响应数据
        pass