python爬虫之修改报头，模拟浏览器（build.opener()、add_header()）

最新推荐文章于 2024-09-12 03:34:09 发布

DJCWDCN

最新推荐文章于 2024-09-12 03:34:09 发布

阅读量4.9k

点赞数 2

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/DJCWDCN/article/details/87189247

版权

Python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

获取User-Agent：
用浏览器打开任意页面，按一下F12，点击Network即可找到User-Agent对应信息

1、使用build.opener()修改报头

headers=("User-Agent",“Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36”)
opener=urllib.request.build_opener()
opener.addheaders=[headers]
data=opener.open(url).read()

2、使用add_header()添加报头

header="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
req=urllib.request.Request(url)
req.add_header('User-Agent',header)
data=urllib.request.urlopen(req).read()