python修改静态html_Python 静态页面爬虫---urllib3库实现

1、生产请求

urllib3库是通过PoolManager实例来生产请求的，由该实例处理与线程池的链接机线程安全的所有细节

urllib3.request函数创建一个请求

语法：

http =urllib3.PoolManager()

rq= http.request('method','url',headers={默认为None},fields={默认为None},**urlopen_kw)

参数解释：

参数名称

说明

method

表示请求的类型。GET,POST等，必须写

url

表示字符串形式的网址

fields

表示请求类型所带的参数

headers

表示请求头所带的参数

**urlopen_kw

接收dict和python中的数据类型的数据，依据具体需求及请求的类型可添加的参数，通常参数赋值为字典类型或者具体数据

2、请求头处理

request函数中，参数header通常定义为一个字典类型来实现

#生产PoolManager实例

http =urllib3.PoolManager()#发送request请求

rq = http.request("GET",'https://www.baidu.com/')#发送带有header请求头的request请求

hd = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) Chrome/78.0.3904.108'} #定义header参数，常用的是dict类型

rq = http.request("GET",'https://www.baidu.com/',headers=hd)

3、设置timeout

timeout参数主要是为了防止因为网络不稳定、服务器不稳定等问题造成链接不稳定时丢包

timeout设置有两种方法：

url = 'https://www.baidu.com/'

#方法1： 在PoolManager实例中设置timeout参数

http = urllib3.PoolManager(timeout = 4)

http1= urllib3.PoolManager(timeout=urllib3.Timeout(connect=1.0,read=3.0)) #分别设置链接与读取的timeout参数#方法2： 直接在url参数后面添加统一的timeout参数

rq = http1.request('GET',url,timeout=3)

rq1= http1.request('GET',url,timeout=urllib3.Timeout(connect=1.0,read=3.0)) #分别设置链接与读取的timeout参数

注意：以request函数中的timeout参数，会覆盖PoolManager实例的timeout参数

4、请求重试设置(retries：重试，redirect：重定性)

retries：默认值为3，设置时参数必须为整数

retries：如果没有设置redirect时，表示同时设置重试和重定向的次数，

如果设置了 redirect时，retries表示设置重试次数，redirect表示重定向次数

url = 'https://www.baidu.com/'

#方法1： 在PoolManager实例中设置retries参数

http = urllib3.PoolManager(retries = 4)

http1= urllib3.PoolManager(timeout=urllib3.Timeout(connect=1.0,read=3.0)) #分别设置链接与读取的timeout参数#方法2： 直接在url参数后面添加统一的retries参数

rq = http1.request('GET',url,retries=3) #请求重试和重定向都为3次

rq1 = http1.request('GET',url,retries=3,redirect=4) #请求重试3次，重定向4次

rq2 = http1.request('GET',url,retries=False) #同时关闭请求重试与重定向

rq3 = http1.request('GET',url,redirect=False) #仅关闭重定向

5、生产一个完整http请求

#创建PoolManager实例

Http =urllib3.PoolManager()#请求方式

method = "GET"

#请求目标URL地址

url = 'https://www.baidu.com/'

#请求头信息

head = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) Chrome/78.0.3904.108'}#设置timeout，链接超时1秒，读取超时3秒

timeout = urllib3.Timeout(connect=1.0,read=3.0)#设置重试次数

retries = 4

#设置重定向次数

redirect = 8

#请求

requests = Http.request(method,url,headers=head,timeout=timeout,retries=retries,redirect=redirect)print(requests.status) #requests.status返回状态码

print(requests.data.decode('utf8')) #返回获取的内容