python爬虫urllib3模块详解，Python知识体系

安装命令：pip install urllib3

---

1.发送网络请求

==============================================================================

使用urllib3发送网络请求时，需要首先创建PoolManager对象，再通过该对象调用 request() 方法发送请求。

request(method,url,fields=None,headers=None)

• method 必选参数，用于指定请求方式，如GET，POST，PUT等。

• url 必须按参数，要访问的url

• fields 可选参数，设置请求的参数

• headers 可选参数，请求头

1.1GET请求

---

import urllib3 # 导入urllib3模块

url = ‘https://www.python.org/’

http = urllib3.PoolManager() # 创建连接池管理对象

r = http.request(‘GET’, url) # 发送GET请求

print(r.status) # 打印请求状态码

程序运行结果：

使用 PoolManager对象（即连接池管理对象） 可以实现向多个服务器发送请求。

import urllib3 # 导入urllib3模块

urllib3.disable_warnings() # 关闭ssl警告

jingdong_url = ‘https://www.jd.com/’ # 京东url地址

python_url = ‘https://www.python.org/’ # Python url地址

baidu_url = ‘https://www.baidu.com/’ # 百度url地址

http = urllib3.PoolManager() # 创建连接池管理对象

r1 = http.request(‘GET’, jingdong_url) # 向京东地址发送GET请求

r2 = http.request(‘GET’, python_url) # 向python地址发送GET请求

r3 = http.request(‘GET’, baidu_url) # 向百度地址发送GET请求

print(‘京东请求状态码：’, r1.status)

print(‘python请求状态码：’, r2.stat