User:Administrator
Create Time:2021-5-10 11:07
- Snippet:2021-5-10 11:07
- fake-useragent的用法
- 问题概述:fake-useragent的用法
- 方案细节
txt> UserAgent是识别浏览器的一串字符串,相当于浏览器的身份证,在利用爬虫爬取网站数据时,频繁更换UserAgent可以避免触发相应的反爬机制。fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。 txt> 1 安装 bash> pip install fake-useragent bash> pip list txt> 2 使用 python> from fake_useragent import UserAgent import requests headers= {'User-Agent':str(UserAgent().random)} lv_url="https://blog.csdn.net/qq_38251616/article/details/86751142" r = requests.get(lv_url,headers=headers, timeout=10) print(r.url) err> fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached bash> pip install -U fake-useragent