urllib库---内置库（2）

最新推荐文章于 2022-08-15 01:34:01 发布

望邹

最新推荐文章于 2022-08-15 01:34:01 发布

阅读量71

点赞数

分类专栏： python爬虫文章标签： python proxy

本文链接：https://blog.csdn.net/ZHiLuan1/article/details/109356619

版权

python爬虫专栏收录该内容

2 篇文章 0 订阅

订阅专栏

urllib库—内置库（2）

5.Resquests类

request.Resquest类

from urllib import request

url = 'http://www.baidu.com'

# 增加请求头，告诉网站我们是一个正经的“浏览器”在访问*
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
}

rq = request.Request(url,headers=headers)
res = request.urlopen(rq)
print(res.read())

6.proxy Handler代理设置

# 6.proxy Handler代理设置*
# 原理：请求目的网站之前，先请求代理服务器，然后代理服务器去请求目的网站，代理服务器拿到目的网站数据。*

from urllib import request
url = 'http://www.baidu.com'
# 1.使用proxy Handler传入代理构建一个handler*
handler = request.ProxyHandler({'http':'122.193.244.243:9999'})#{'协议'：'ip:端口'}*
# 2.使用上面创建的handler构建一个opener*
opener = request.build_opener(handler)
# 3.使用opener.open(url)*
resp = opener.open(url)
print(resp.read())