第一章 urllib数据挖掘 2.2构造请求头伪造成浏览器等

最新推荐文章于 2024-08-23 01:00:00 发布

小僧寒水寺无心

最新推荐文章于 2024-08-23 01:00:00 发布

阅读量160

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/weixin_45880057/article/details/104788358

版权

Python 专栏收录该内容

19 篇文章 0 订阅

订阅专栏

2.1构造请求头伪造成浏览器等`

from urllib import request
import re#导入正则表达式
url = r'https://www.baidu.com/'
#构造请求头
header={"User - Agent": "Mozilla / 5.0(WindowsNT10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 64.0.3282.140Safari / 537.36Edge / 18.17763"}
#创建自定义请求对象,以对抗反爬
#反爬机制：判断是否是浏览器访问
#我们可以通过伪装成浏览器进行爬虫
req = request.Request(url,headers=header)
response = request.urlopen(req).read().decode()#解码。。。。编码encode()
print(response)