UserAgent是识别浏览器的一串字符串,相当于浏览器的身份证,在利用爬虫爬取网站数据时,频繁更换UserAgent可以避免触发相应的反爬机制。fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。
安装
pip install fake-useragent
python:
from fake_useragent import UserAgent
ua = UserAgent()
print(ua.chrome)
print(ua.firefox)
print(ua.ie)