scrapy框架下实现用户代理的随机更换功能

用户代理

User Agent，简称UA，它是一个特殊字符串头，一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但通过伪装 UA 可以绕过检测。

为什么需要用户代理

我们在爬虫中常常会遇到这种情况：起初爬虫正常运行，正常抓取数据，但一会就会出现比如403Forbidden这样的情况，出现这种现象是因为网站采取了反爬虫的措施，比如有的服务器会检测某个IP在单位时间内的请求次数，如果超过了某个阈值，那么服务器就会直接拒绝服务，这种情况被称作封IP。
但如果我们将IP伪装起来，让服务器无法识别我们由本机发出的请求，就可以成功防止封IP，所以这时候就用到了代理。

在middlewares.py中实现用户代理的随机更换功能

1.在github上下载可以随机切换访问头的插件点击链接
2.用cmd进行安装pip install fake-useragent
3.在middlewares.py中写入，相关代码如下

from fake_useragent import UserAgent # 引入包

class NovelUserAgentMiddleware(object):
    def __init__(self,crawler):
        super(NovelUserAgentMiddleware, self).__init__()
        self.ua = UserAgent()
        self.ua_type = crawler.setting.get("RANDOM_UA_TYPE","random") # 读取setting文件，并决定ua采用random（默认），还有ie，firefox等

    @classmethod
    def from_crawler(cls,crawler):
        return cls(crawler)

    def process_requset(self,request,spider):
        def get_ua():
            return getattr(self.ua,self.ua_type)
        print(get_ua())
        request.headers.setdefault('User-Agent',get_ua()) #更换代理

4.在setting.py文件中开启middleware

DOWNLOADER_MIDDLEWARES = {
    'novel.middlewares.NovelDownloaderMiddleware': 542, # 将原来的543改为542
}

并把之前的user-agent注释掉，之后就可以使用了。