爬虫中非常重要的一种反反爬策略
user-agent 用户代理
解决方式
-
添加随机的user-agent
-
fake_useragent、
from fake_useragent import UserAgent
# ua = UserAgent()
# headers = {'user-agent':ua.chrome} # 指定浏览器user-agent
# 或者可以这样写
headers = {'user-agent': UserAgent().random} # 一步到位,随机生成一个 user-agen
print(headers)