爬虫实战八、爬虫程序防封策略配置

免责声明

本文所有内容，包括文字、图片、音频、视频、软件以及程序等，仅用于个人学习、研究或欣赏。本人不保证内容的正确性。通过参考本文内容随之而来的风险与本人无关。读者可将本文提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本人及相关权利人的合法权利。

本文撰写目的是个人学习、研究或欣赏，部分内容来源于互联网，如无意侵犯他人或网站合法权利，请联系本人，予以删除。

#前言

在前几天的爬虫实践中，由于防封措施做得不好，被豆 * 封了，必须登录才能打开豆 * 的网站，但是我又不想登录，所以今天做了一些防封的配置供大家参考。

#一、防封策略

根据scrapy官方文档里面的描述，要防止scrapy被ban，主要有以下几个策略。

• 设置延迟下载
• 禁用cookies
• 动态设置user agent
• 使用Google cache
• 使用IP地址池（Tor project、VPN和代理IP）
• 使用Crawlera

由于Google cache受国内网络的影响，使用不便，而Crawlera我会专门放到下一篇专题去讲，所以在本文暂时主要从设置延迟下载、禁用cookies、动态随机设置user agent和使用代理IP这几种策略出发，防止爬虫程序被封禁。

#二、防封配置
###2-1、设置延迟下载
在项目的settings.py文件中添加如下配置：

# 设置并发数量
CONCURRENT_REQUESTS = 1

# 设置延迟下载间隔，单位：秒
DOWNLOAD_DELAY = 5

两个属性的含义：

CONCURRENT_REQUESTS
默认： 16
Scrapy下载程序执行的并发（即同时）请求的最大数量。

DOWNLOAD_DELAY
默认： 0
下载器在从同一网站下载连续页面之前应等待的时间（以秒为单位）。
这可以用于限制爬行速度，以避免连续向服务器发起请求。支持小数。例：

DOWNLOAD_DELAY = 0.25    # 250 ms of delay

###2-2、配置robots.txt协议
在项目的settings.py文件中添加如下配置：

# 是否遵循robots.txt协议，具体需要根据需求来配置True或者False
ROBOTSTXT_OBEY = True

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎抓取限制。通俗来说， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后确定该网站的爬取范围。

当然，我们并不是在做搜索引擎，而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以，某些时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议。当然这样就会有被封的风险。

###2-3、禁用cookies
在项目的settings.py文件中添加如下配置：

# 禁用cookies
COOKIES_ENABLED = False

部分网站会通过用户的Cookie信息对用户进行识别与分析，所以要防止目标网站使用Cookie识别我们的会话信息。

###2-4、设置动态随机USER_AGENT

Scrapy请求的USER_AGENT的切换都是通过DOWNLOADER_MIDDLEWARES进行控制的，因此

• 第1步、在项目的settings.py文件中添加USER_AGENTS配置，例如：

# 使用动态USER_AGENT
USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]

• 第2步、在项目的middlewares.py文件中添加如下代码：

import random

class RandomUserAgent(object):

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings.getlist('USER_AGENTS'))

    def __init__(self, agents):
        self.agents = agents

    def process_request(self, request, spider):
        request.headers.setdefault('User-Agent', random.choice(self.agents))

类RandomUserAgent主要用来动态获取USER_AGENT，USER_AGENT列表USER_AGENTS在settings.py中进行配置。

• 第3步、在项目的settings.py文件中添加如下配置：

DOWNLOADER_MIDDLEWARES = {
    'doubanRating.middlewares.RandomUserAgent': 1, # 配置随机USER_AGENT
}

数字配置范围0-1000，代表配置优先级，数字越小优先级越高。

###2-5、使用动态IP代理
Scrapy代理IP的切换也是通过DOWNLOADER_MIDDLEWARES进行控制的，因此

• 第1步、在项目的settings.py文件中添加PROXIES配置，例如：

PROXIES = [
    {'ip_port': '111.11.228.75:80', 'user_pass': ''},
    {'ip_port': '120.198.243.22:80', 'user_pass': ''},
    {'ip_port': '111.8.60.9:8123', 'user_pass': ''},
    {'ip_port': '101.71.27.120:80', 'user_pass': ''},
    {'ip_port': '122.96.59.104:80', 'user_pass': ''},
    {'ip_port': '122.224.249.122:8088', 'user_pass': ''},
]

• 第2步、在项目的middlewares.py文件中添加如下代码：

import random
import base64
from doubanRating.settings import PROXIES

class ProxyMiddleware(object):

    def process_request(self, request, spider):
        proxy = random.choice(PROXIES)
        if proxy['user_pass'] is None:
            request.meta['proxy'] = "http://%s" % proxy['ip_port']
            encoded_user_pass = base64.b64encode(proxy['user_pass'].encode('utf-8'))
            request.headers['Proxy-Authorization'] = 'Basic ' + str(encoded_user_pass)
            print
            "**************ProxyMiddleware have pass************" + proxy['ip_port']
        else:
            print
            "**************ProxyMiddleware no pass************" + proxy['ip_port']
            request.meta['proxy'] = "http://%s" % proxy['ip_port']

类ProxyMiddleware用来切换代理，proxy列表PROXIES也是在settings.py中进行配置。

• 第3步、在项目的settings.py文件中添加如下配置，此配置和 2-4、设置动态随机USER_AGENT 第3步 合并：

DOWNLOADER_MIDDLEWARES = {
    'doubanRating.middlewares.RandomUserAgent': 1, # 配置随机USER_AGENT
    'doubanRating.middlewares.ProxyMiddleware': 100, # 配置代理IP
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, # 配置代理IP
}

至此，基本的防封配置已经配置完毕，可以运行爬虫进行效果测试。