爬虫自动获取UserAgent

导入

from fake_useragent import UserAgent, FakeUserAgentError 
import random

 

获取用户代理对象

 

try:
    ua = UserAgent()
except FakeUserAgentError:
     pass

用随机随机获取一个用户代理,并加入到页眉

 

base_headers = {
     'User-Agent': ua.random ,
 'Accept-Encoding': 'gzip,deflate,sdch' ,
 'Accept-Language': 'zh-CN,zh; q = 0.8',
 }        

最后带着夏理请求

 

response = requests.get(url, headers = base_headers)

 

 

 

 

 

阅读更多
个人分类: 爬虫
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭