python-爬虫-urllib3

最新推荐文章于 2024-04-18 00:16:34 发布

蔷莫

最新推荐文章于 2024-04-18 00:16:34 发布

阅读量564

点赞数

文章标签： python 爬虫 urllib3 jupyter

本文链接：https://blog.csdn.net/weixin_64729620/article/details/132839131

版权

本文介绍了Python网络请求库urllib3的使用，包括发起请求、处理bytes对象、响应内容、查询参数、表单数据提交以及JSON数据提交。urllib3特性包括线程安全、连接池等，它支持HTTP和SOCKS代理，具有高测试覆盖率。

摘要由CSDN通过智能技术生成

导入模块

import urllib3

urllib3：功能强大、条理清晰、用于HTTP客户端的python网络请求库

重要特征
1.线程安全
2.连接池
3.客户端SSL/TLS验证
4.使用分段编码长传文件
5.重试请求和处理HTTP复位的助手
6.支持gzip和deflate编码
7.HTTP和SOCKS的代理支持
8.100%的测试覆盖率

1.发起请求

导入模块

import urllib3

通过PoolManager实例生成请求，由该实例对象处理与线程池的连接及线程安全的所有细节，不需要任何人为操作

http = urllib3.PoolManager()
http	# <urllib3.poolmanager.PoolManager at 0x1ecf4917710>

通过request()创建请求，返回一个HTTP Response对象

r = http.request('GET','https://fanyi.baidu.com/')
r		# <urllib3.response.HTTPResponse at 0x1ecf7613080>

通过响应对象的data等方法可以获取响应结果，使用decode对返回的数据进行解码

r.data		# 有乱码
r.data.decode('utf8')	# 使用decode对返回的数据进行解码

import urllib3
http = urllib3.PoolManager()
r = http.request('GET','https://fanyi.baidu.com/')
r.data
r.data.decode('utf8')

在这里插入图片描述

request()可以通过参数控制请求的类型

传递POST参数值，该请求数据部分涵盖发送其他类型的请求的数据，包括JSON、文件和二进制数据

http = urllib3.PoolManager()
r = http.request(
    'POST',
    'http://httpbin.

关注