scrapy突破反爬的几种方式（一）

最近在学习 scrapy 中，突破反爬限制的几种方法，总结一下，记录学习过程中的收获。
在以后的学习中也有可能会用到这些知识。

Downloader Middleware

简单介绍一下 Downloader Middleware 即下载中间件，它处于 Scrapy 的 Request 和 Response 之间的处理模块，在 scrapy 的整个架构中起作用的位置是以下两个

• 在Scheduler 调度出队列的 Request 发给 Downloader 下载之前，也就是我们可以在 Request 执行下载之前对其进行修改。
• 在下载之后生成的 Response 发送给 Spider 之前，也就是我们可以在生成 Response 被 Spider 解析之前对其进行修改。

修改 User-Agent 、处理重定向、设置代理、失败重试、设置 Cookies 等功能都需要它来实现。

User-Agent

本文不去探讨那些具体方法的代码逻辑，仅以实战的方式分析用法。

项目实战

新建一个项目，命令如下：

scrapy startproject scrapydownloadertest

进入项目，新建一个 Spider ，命令如下：

cd scrapydownloadertest
scrapy genspider httpbin httpbin.org

在 pycharm 中打开，并修改 start_urls 为 ['http://httpbin.org/get']。随后将 parse() 方法添加一行日志输出，将 response 变量中的 text 文本信息输出一下，看一下 scrapy 发送的 request 信息。
修改后的 spider

   import scrapy


class HttpbinSpider(scrapy.Spider):
    name = 'httpbin'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/get']

    def parse(self, response):
        self.logger.debug(response.text)

接下来运行一下,点击pycharm 下方 Terminal 运行命令：

scrapy crawl httpbin

找到输出的日志：

2018-09-16 13:35:09 [httpbin] DEBUG: {
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Encoding": "gzip,deflate",
    "Accept-Language": "en",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "Scrapy/1.5.0 (+https://scrapy.org)"
  },
  "origin": "219.157.79.134",
  "url": "http://httpbin.org/get"
}

观察一下 User-Agent ，scrapy 发送的 Request 是 Scrapy/1.5.0 (+https://scrapy.org) ，这其实是用scrapy内置的 UserAgentMiddleware 设置的，我们看一下 UserAgentMiddleware 的源码：

from scrapy import signals


class UserAgentMiddleware(object):
    """This middleware allows spiders to override the user_agent"""

    def __init__(self, user_agent='Scrapy'):
        self.user_agent = user_agent

    @classmethod
    def from_crawler(cls, crawler):
        o = cls(crawler.settings['USER_AGENT'])
        crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
        return o

    def spider_opened(self, spider):
        self.user_agent = getattr(spider, 'user_agent', self.user_agent)

    def process_request(self, request, spider):
        if self.user_agent:
            request.headers.setdefault(b'User-Agent', self.user_agent)

解析

在 from_crawler() 方法中，首先获取 settings 里面的 USER_AGENT ，然后把 USER_AGENT 传递给 init() 方法进行初始化，其参数就是 user_agent 。如果没有传递 USER_AGENT 参数就默认设置 Scrapy 字符串。我们新建项目里没有在 settings 中设置 USER_AGENT ，所以我们的代码中 user_agent 变量就是 Scrapy 。接下来，在 process_request() 方法中，将 user_agent 变量设置为 headers 变量的一个属性，这样就成功设置了 User-Agent 。
因此，修改 User-Agent 也就可以有两种方式

1. 修改 settings 里面的 USER_AGENT 变量
   在 settings.py 文件中加一行 USER_AGENT 的定义就可以了。

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

一般推荐此方法来设置。如果想要设置的更加灵活，比如设置随机的 User-Agent 。那就要用第二种方式了。

1. 通过 Downloader Middleware 的 process_request() 方法来修改。
   在 middlewares.py 文件里添加一个 RandomUserAgentMiddleware 的类，如下：

class RandomUserAgentMiddleware(object):
    # 随机更换 user_agent
    def __init__(self,srawler):
        super(RandomUserAgentMiddleware,self).__init__()
        self.ua = UserAgent()
    @classmethod
    def from_crawler(cls,crawler):
        return cls(crawler)

    def process_request(self,request,spider):
        def get_ua():
        request.headers.setdefault('User-Agent',self.ua.random)

这里用到了一个库：

from fake_useragent import UserAgent # 用于随机生成一个user_agent

这个库用于随机生成 useragent ，具体可以查看文档。

随后我们在 settings.py 中调用 Downloader Middleware 。

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
    'scrapydownloadertest.middlewares.RandomUserAgentMiddleware': 543,
}

接下来重新运行 Spider ，就可以看到 User-Agent 被成功修改为随机的一个 User-Agent 了。

2018-09-16 14:49:44 [httpbin] DEBUG: {
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Encoding": "gzip,deflate",
    "Accept-Language": "en",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36"
  },
  "origin": "219.157.79.110",
  "url": "http://httpbin.org/get"
}

以上就是两种方式修改 User-Agent 。

由于篇幅长，还是分几篇来介绍吧，下一篇介绍随机设置代理 ip 。
点个赞吧。