官网文档地址:https://urllib3.readthedocs.io/en/stable/reference/index.html
一、安装
pip install urlib3
二、基本使用
import urllib3
import threading
img_list = [
"https://pic.netbian.com/uploads/allimg/220211/004115-1644511275bc26.jpg",
"https://pic.netbian.com/uploads/allimg/220215/233510-16449393101c46.jpg",
"https://pic.netbian.com/uploads/allimg/211120/005250-1637340770807b.jpg"
]
http = urllib3.PoolManager()
def get_image(url,name):
result = http.request('GET',url)
with open(f'{name}.jpg','wb') as img_file: #将获取的数据存入文件
img_file.write(result.data)
if __name__ == '__main__':
for index,img_item in enumerate(img_list):
task = threading.Thread(target=get_image,args=(img_item,index))
task.start()
task.join()
三、urllib3.request() 发送请求
import urllib3
'''
参数详解
method(字符串):指定请求的 HTTP 方法,例如 GET、POST、PUT、DELETE 等。默认为 GET。
url(字符串):指定请求的 URL。可以是一个完整的 URL,也可以是一个相对路径
fields(字典或类似对象):指定请求的表单字段。这个参数用于发送 application/x-www-form-urlencoded 类型的 POST 请求。字典的键是字段名,值是字段的值。
headers(字典):指定请求的头部信息。字典的键是头部字段名,值是字段的值
body(字节串或类似对象):指定请求的主体内容。这个参数用于发送请求的主体数据
retries(整数或 urllib3.Retry 对象):指定请求的重试次数。可以是一个整数,表示重试的次数;也可以是一个 urllib3.Retry 对象,用于更详细地配置重试的行为。
redirect(布尔值):指定是否自动重定向。如果设置为 True,则在遇到重定向时会自动跟随重定向。默认为 True。
timeout(浮点数或元组):指定请求的超时时间。可以是一个浮点数,表示超时的秒数;也可以是一个包含连接超时和读取超时的元组
preload_content(布尔值):指定是否预加载响应内容。如果设置为 False,则在访问响应内容时才会进行网络请求。默认为 True。
decode_content(布尔值):指定是否解码响应内容。如果设置为 False,则响应内容将保持原始的字节串形式。默认为 True。
assert_same_host(布尔值):指定是否验证请求的主机名与 URL 中的主机名是否匹配。默认为 True。
assert_fingerprint(字符串):指定要验证的 SSL 证书指纹。可以是一个 SHA-1 或 SHA-256 的十六进制字符串,用于验证服务器的证书。
cert_file(字符串):指定客户端证书文件的路径。用于进行双向 SSL 认证。
key_file(字符串):指定客户端私钥文件的路径。用于进行双向 SSL 认证。
ca_certs(字符串):指定 CA 证书文件的路径。用于验证服务器的证书。
disable_warnings(布尔值):指定是否禁用警告消息。如果设置为 True,则 urllib3 的警告消息将被忽略。
'''
result = urllib3.request('GET',url)
四、urllib3.PoolManager() 创建和管理连接池,以便在发送多个 HTTP 请求时重用连接
import urllib3
'''
参数详解
num_pools(整数):指定连接池的数量。默认为 10。每个连接池可以管理多个连接。
headers(字典):指定请求的头部信息。字典的键是头部字段名,值是字段的值
'''
http = urllib3.PoolManager()
- http.request(method,url,body,fields,headers) 发送请求
- method(字符串):指定请求的 HTTP 方法,例如 GET、POST、PUT、DELETE 等。默认为 GET。
- url(字符串):指定请求的 URL。可以是一个完整的 URL,也可以是一个相对路径
- body(字节串或类似对象):指定请求的主体内容。这个参数用于发送请求的主体数据
- fields(字典或类似对象):指定请求的表单字段。这个参数用于发送 application/x-www-form-urlencoded 类型的 POST 请求。字典的键是字段名,值是字段的值。
- headers(字典):指定请求的头部信息。字典的键是头部字段名,值是字段的值
- http.clear() 清空连接池