urllib库数据挖掘【3】--自定义opener

最新推荐文章于 2023-12-21 10:01:37 发布

Dream_Hill

最新推荐文章于 2023-12-21 10:01:37 发布

阅读量244

点赞数

分类专栏： Python爬虫

本文链接：https://blog.csdn.net/u014557255/article/details/90646376

版权

本文介绍了如何使用Python的urllib库创建自定义opener对象，以支持代理和cookie等高级HTTP/HTTPS功能。通过request.build_opener()构建自定义opener，然后使用open()方法发送请求，还可以通过request.install_opener()设置全局opener。

摘要由CSDN通过智能技术生成

我们之前使用的urlopen是一个特殊的opener，它是模块帮我们构建好的，但是urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。要支持这些功能，需要创建自定义opener对象。

1.通过request.build.opener()方法创建自定义opener对象

from urllib import request


# 构建处理器对象（专门处理HTTP请求的对象）
http_handler = request.HTTPHandler()

# 创建自定义opener
opener = request.build_opener(http_handler)

2.使用自定义的opener对象，调用open()方法发送请求

# 调用open()发送请求
resp = opener.open("http://www.baidu.com").read().decode()

3.使用request.install_opener()将自定义的opener对象定义为全局opener

# 将之前自定义的opener定义为全局opener，这样就可以使用urlopen()直接调用自定义的opener
request.install_opener(opener)

resp = request.urlopen("http://www.baidu.com").read().decode()