爬虫必须的请求头库fake_useragent

在爬虫请求头中，一般都会用到User-Agent，今天发现了fake_useragent库，可以自动生成，节省工作量。

（一）安装pip3 install fake_useragent

（二）使用

import random
import requests
from fake_useragent import UserAgent

ua = UserAgent()
print(ua.random)
headers = {"User-Agent": ua.random}
response = requests.get(url, headers=headers, timeout=10)

结果：

 

非常方便。