Scrapy动态设置User-Agent

最新推荐文章于 2024-04-17 13:54:10 发布

DD小鹏同学

最新推荐文章于 2024-04-17 13:54:10 发布

阅读量502

点赞数

分类专栏： python 文章标签： python scrapy User-Agent

本文链接：https://blog.csdn.net/weixin_44233476/article/details/102906661

版权

本文介绍了如何在Scrapy中动态设置User-Agent，通过在middlewares.py中创建RandomUserAgent类，然后在settings.py中配置DOWNLOADER_MIDDLEWARES，最后提供了一个包含多种User-Agent的列表供随机选择。

摘要由CSDN通过智能技术生成

Scrapy动态设置User-Agent

1、middlewares.py里添加
2、settings.py里修改DOWNLOADER_MIDDLEWARES ：
3、settings.py再添加：

1、middlewares.py里添加

‘’’
这个类主要用于产生随机User-Agent
‘’’

class RandomUserAgent(object):

def __init__(self, agents):
    self.agents = agents

@classmethod
def from_crawler(cls, crawler):
    return cls(crawler.settings.getlist('USER_AGENTS'))

def process_request(self, request, spider):
    request.headers.setdefault('User-Agent', random.choice(self.agents))

2、settings.py里修改DOWNLOADER_MIDDLEWARES ：

DOWNLOADER_MIDDLEWARES = {
‘xxxxx.middlewares.RandomUserAgent’: 544,
}

3、settings.py再添加：

USER_AGENTS = [
“Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1”,
“Avant Browser/1.2.789rel1 (http://www.avantbrowser.com)”,