python爬虫urllib3模块详解(1)

1.2POST请求

---

发送post请求同样使用request方法，只需要将request方法中的method参数设置为POST，将fields参数设置为字典类型的表单参数。

import urllib3 # 导入urllib3模块

urllib3.disable_warnings() # 关闭ssl警告

url = ‘https://www.httpbin.org/post’ # post请求测试地址

params = {‘name’: ‘Jack’, ‘country’: ‘中国’, ‘age’: 30} # 定义字典类型的请求参数，这里可以随意写进行测试

http = urllib3.PoolManager() # 创建连接池管理对象

r = http.request(‘POST’, url, fields=params) # 发送POST请求

print(‘返回结果：’, r.data.decode(‘utf-8’))

可以看出表单中的"中国"两个汉字没有正常显示。而是显示了一段unicode编码，对此可以将编码方式设置为unicode_escape。

print(r.data.decode(‘unicode_escape’))

这样就正常显示了。

1.3 重试请求

---

urllib3可以自动重试请求，request()方法请求重试次数默认为3次，如果要修改重试次数，可以设置retires参数。

import urllib3 # 导入urllib3模块

urllib3.disable_warnings() # 关闭ssl警告

url = ‘https://www.httpbin.org/get’ # get请求测试地址

http = urllib3.PoolManager() # 创建连接池管理对象

r = http.request(‘GET’, url) # 发送GET请求,默认重试请求

r1 = http.request(‘GET’, url, retries=5) # 发送GET请求,设置5次重试请求

r2 = http.request(‘GET’, url, retries=False) # 发送GET请求,关闭重试请求

print(‘默认重试请求次数：’, r.retries.total)

print(‘设置重试请求次数࿱