Python 爬虫，scrapy，Downloader Middleware，下载中间件

下载中间件可以在发送请求前对request对象进行处理(添加请求头，代理IP等)；也可以在返回响应前对response、request对象进行处理等。

 

项目名/middlewares.py（定义下载中间件）：

# -*- coding: utf-8 -*-
import random

# 自定义的下载中间件
class RandomUserAgentMiddleware:
    # 发送请求前调用 (方法名固定)
    def process_request(self, request, spider):   # spider表示发送请求的爬虫
        ua = random.choice(spider.settings.get("USER_AGENTS_LIST"))
        request.headers["User-Agent"] = ua  # 设置请求头

        proxy = random.choice(spider.settings.get("PROXIES"))
        request.meta['proxy'] = proxy   # 设置代理IP
        # 一般不需要返回

    # 返回响应前调用 (方法名固定)
    def process_response(self, request, response, spider):
        pass
        return response   # 一般需要返回响应，也可以返回request继续请求。


# 可以定义多个下载中间件，可以在settings.py中配置中间件的执行顺序
class CheckUserAgent:
    # 返回响应前调用 (方法名固定)
    def process_response(self, request, response, spider):
        print(request.headers["User-Agent"])
        return response

项目名/settings.py（配置文件，配置下载中间件）：

# 。。。

# 配置下载中间件
DOWNLOADER_MIDDLEWARES = {
   '项目名.middlewares.RandomUserAgentMiddleware': 543,   # 543表示权重(距离Scrapy引擎的远近，决定多个中间件执行顺序)
   '项目名.middlewares.CheckUserAgent': 544,
}

# User-Agent请求头列表
USER_AGENTS_LIST = [
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5"
    ]

# 代理IP列表
PROXIES = [
    'http://111.8.60.9:8123', 
    'http://111.8.60.10:8123', 
    'http://111.8.60.11:8123',
    ]

# 。。。