Scrapy框架的下载器中间件讲解&并用下载器中间件设置随机请求头

Scrapy框架的下载器中间件讲解&并用下载器中间件设置随机请求头

Scrapy是一个Python爬虫框架，具有高效、可扩展、可配置等特点。在Scrapy框架中，下载器中间件（Downloader Middleware）是一种机制，可以在Scrapy下载器处理请求和响应的过程中进行自定义操作。

下载器中间件的主要功能是在下载器发送请求和处理响应的过程中，对请求和响应进行处理和修改。在Scrapy框架中，下载器中间件可以用于以下操作：

• 设置请求头：通过下载器中间件设置请求头，可以模拟不同浏览器的请求头，避免被网站屏蔽。
• 设置代理IP：通过下载器中间件设置代理IP，可以实现动态IP访问，避免被网站反爬虫机制封禁。
• 修改请求URL：通过下载器中间件修改请求URL，可以实现动态URL访问，避免重复访问同一页面。
• 修改响应内容：通过下载器中间件修改响应内容，可以实现数据清洗和自定义的数据处理。

在使用Scrapy框架时，我们可以自定义下载器中间件，并将其添加到Scrapy的DOWNLOADER_MIDDLEWARES配置中。

下面是一个例子，展示如何使用下载器中间件设置随机请求头：

import random
from scrapy import signals
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

class RandomUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent=''):
        super(RandomUserAgentMiddleware, self).__init__(user_agent)
        self.user_agent_list = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.4; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0',
            'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0',
            'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
            'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0',
            'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
            'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0',
            'Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0',
            'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'
        ]
    def process_request(self, request, spider):
        ua = random.choice(self.user_agent_list)
        if ua:
            request.headers.setdefault('User-Agent', ua)

以上代码中，我们自定义了一个RandomUserAgentMiddleware类，继承自UserAgentMiddleware类，并实现了process_request方法。在process_request方法中，我们随机选择一个User-Agent，并将其添加到请求头中。最后，将该中间件添加到DOWNLOADER_MIDDLEWARES配置中即可实现随机请求头的设置。