爬虫自动获取UserAgent

导入

from fake_useragent import UserAgent, FakeUserAgentError 
import random

 

获取用户代理对象

 

try:
    ua = UserAgent()
except FakeUserAgentError:
     pass

用随机随机获取一个用户代理,并加入到页眉

 

base_headers = {
     'User-Agent': ua.random ,
 'Accept-Encoding': 'gzip,deflate,sdch' ,
 'Accept-Language': 'zh-CN,zh; q = 0.8',
 }        

最后带着夏理请求

 

response = requests.get(url, headers = base_headers)

 

 

 

 

 

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭