关注
scrapy设置动态User-Agent扩展知识
想想大家也清楚，一个爬虫最基础的防反扒机制是动态设置User-Agent(以下简称UA)，在scrapy中有几个与随机User-Agent相关的设置，我今天来跟大家交流交流这几个方面。
在setting.py内的简单设置有ROBOTSTXT_USER_AGENT、USER_AGENT、DEFAULT_REQUEST_HEADERS，以下是它们的默认值
ROBOTSTXT_USER_AGENT=None
官方文档原话：
The user agent string to use