1 urllib介绍
除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!
urllib在python中分为urllib和urllib2,在python3中为urllib
下面以python3的urllib为例进行讲解
2 urllib的基本方法介绍
2.1 urllib.urlopoen
传入URL地址
import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")
print(resp.read())
2.2 urllib.Request
构造简单请求
import urllib.request #构造请求 request = urllib.request.Request("http://www.baidu.com") #发送请求获取响应 response = urllib.request.urlopen(request) print(resp.read())
传入headers参数
import urllib.request #构造headers headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} #构造请求 request = urllib.request.Request(url, headers = headers) #发送请求 response = urllib.request.urlopen(request) print(resp.read())
传入data参数 实现发送post请求
import urllib.request import urllib.parse headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} # 构造请求数据字典 data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"} # 对请求数据字典编码为bytes类型 data = urllib.parse.urlencode(data).encode('utf-8') # 构造请求 request = urllib.request.Request('http://www.renren.com/PLogin.do', data=data, headers=headers) # 发送请求获取响应 resp = urllib.request.urlopen(request) # 获取响应的文本内容 print(resp.read())
2.3 response.read()
获取响应的html字符串,bytes类型
import urllib.request
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)
# 打印响应的文本内容 bytes类型
print(resp.read())
# 打印响应的文本内容 str类型
print(resp.read().decode())