scrapy框架Downloader Middleware的简单应用

Downloader Middleware是框架中的一个组件，有着非常重要的作用。

它通常用来做反爬，异常处理等。

反爬措施包括基本的设置随机请求头，通过不停的改变请求头来应对反爬。

设置ip代理来解决被封IP等。

这里简介一下设置随机请求头的方法。

首先我们创建一个试验项目，实验网站是httpbin.org

如果你需要大量的浏览器请求头，点击这里：http://www.useragentstring.com/

代码如下：

httpbin.py：它打印请求头验证结果

import scrapy
import json

class HttpbinSpider(scrapy.Spider):
    name = 'httpbin'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/user-agent']

    def parse(self, response):
        user_agent = json.loads(response.text)['user-agent']
        print(user_agent)

然后我们在middleware.py中写入如下代码：

import random

class UserAgentDownloadMiddleware(object):
    User_Agents = [
        'Mozilla/5.0 (X11; Linux i686; rv:64.0) Gecko/20100101 Firefox/64.0',
        'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.13; ko; rv:1.9.1b2) Gecko/2008'
        '1201 Firefox/60.0',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
        ' Chrome/70.0.3538.77 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome'
        '/44.0.2403.155 Safari/537.36',
    ]

    def process_request(self, request, spider):
        user_agent = random.choice(self.User_Agents)
        request.headers['User-Agent'] = user_agent

在settings.py中写入设置：

DOWNLOADER_MIDDLEWARES = {
   # 'downloadermiddleware.middlewares.DownloadermiddlewareDownloaderMiddleware': 543,
   'downloadermiddleware.middlewares.UserAgentDownloadMiddleware': 543,
}

关闭协议，不在贴了

start.py也不贴了，前面都有

运行start.py

没有设置请求头，打印的是这个：

设置完，我们可以看见：

这里就完成了对随机请求头的设置。

关于ip的设置，如果需要相对稳定的ip，那么就需要到代理去买ip，同样可以设置随机ip

通过不停的改变请求头和ip就可以避免ip被封和输入验证码等反爬。