python爬虫工程师--手把手教会你--09随机生成User-Agent.py

1.反爬

因为咱们每次手动去自己的浏览器获取user-agent,咱们看看可不可以随机生成一个

多次用同一个User-Agent访问，对方后台可能会监控！有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作。

2.代码

pip install fake-useragent

from urllib.request import urlopen,Request
from fake_useragent import UserAgent


ua = UserAgent()
print(ua.firefox)
print(ua.chrome)
url = 'http://httpbin.org/get'


headers = {
  'User-Agent':ua.chrome
}
req = Request(url,headers=headers)
resp = urlopen(req)
print(resp.read().decode())

3.注意

fake-useragent在创建对象时，可能创建不了，多部分原因为服务器访问不到的原因

解决方案

拷贝fake-useragent_version.json 的配置文件到用户目录C:\Users\Wang\AppData\Local\Temp