前言
大网站都会有反爬机制,会通过检查请求头里是否带有user-agent来判断请求是否是爬虫。当但即使你加上user-agent后,频繁的使用同一个user-agent进行请求后,还是会触发反爬机制,所以就有了神奇的faker库
安装
pip install faker
例子
from faker import Factory
# 生成不同的user-agent
User_Agent = Factory.create()
for i in range(10):
print(User_Agent.user_agent())
实战
Faker库的实战例子可以看一下我这篇文章 Python爬虫增加CSDN博客访问量