自定义user-agent的Middlware

user-agent可以作为反爬虫中的一部分：
对我们的爬虫进行自定义RandomUserAgentMiddlware:
首先我们需要安装一个fake-useragent库：pip install fake-useragent
fake-useragent的详细使用参考github上面的官网教程
然后在setting.py文件同级的目录下面创建middlewares.py文件，有的话就不用创建了。

from fake_useragent import UserAgent
class RandomUserAgentMiddlware(object):
    #随机更换user-agent
    def __init__(self, crawler):
        super(RandomUserAgentMiddlware, self).__init__()
        self.ua = UserAgent() #创建UserAgent的实例
    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_request(self, request, spider):
        request.headers.setdefault('User_Agent', self.ua.random) #调用user-agent的随机函数

为刚刚的RandomUserAgentMiddlware增加使用特定浏览器的user-agent功能。
在setting.py文件中配置使用chrome的浏览器的user-agent
RANDOM_UA_TYPE = "chrome"

class RandomUserAgentMiddlware(object):
    #随机更换user-agent
    def __init__(self, crawler):
        super(RandomUserAgentMiddlware, self).__init__()
        self.ua = UserAgent()
        self.ua_type = crawler.settings.get("RANDOM_UA_TYPE", 'random') #调用setting.py文件中的配置信息

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_request(self, request, spider):
        def get_ua(): #为ua添加浏览器类型
            return getattr(self.ua, self.ua_type)
        request.headers.setdefault('User_Agent', get_ua())

当我们的middlware写完之后，需要在setting.py文件中添加使用：

DOWNLOADER_MIDDLEWARES = {
   'first_project.middlewares.RandomUserAgentMiddlware': 543, #first_project是你的项目名
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,
}

这样就完成了自定义user-agent的替换，
隔一段时间user-agent库就会更新，我们如果需要使用最新的user-agent就需要更新我们的库：
pip install -U fake-useragent