python爬虫基础基础（七）urllib中的Request

2.Request

首先我们用实例来感受一下Request的用法：

import urllib.request
request=urllib.request.Request('http://python.org')
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

可以发现我们依然是用urlopen（）方法来发送这个请求，只不过这次该方法的参数不再是URL，而是一个Request类型的对象。通过构造这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可更加丰富和灵活地配置参数。构造方法如下：

class urllib.request.Request(url, data=None, headers={}, orgin_req_host=None, unverifiable=False,method=None)

第一个参数url用于请求URL，这是必传参数，其他都是可选参数。

第二个参数data如果要传，必须传bytes（字节流）类型的。如果它是字典，可以先用urllib.parse模块里的urlencode（）编码。

第三个参数headers是一个字典，它就是请求头，我们可以在构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header()方法添加。

添加请求头最常用的用法就是通过修改User-Agent来伪装浏览器，默认的User-Agent时Python-urllib，我们可以通过修改它来伪装浏览器。比如伪装火狐浏览器，你可以把它设置为：

Mozilla/5.0(X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11

第四个参数 origin_req_host指的是请求方的host名称或者IP地址。

第五个参数 unverifiable表示这个请求是否是无法验证的，默认值是False，意思是说用户没有足够权限来选择接收这个请求的结果。例如，我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时unverifiable的值就是True。

第六个参数method是一个字符串，用来指示请求使用的方法，如GET、POST和PUT等。

下面我们传入多个参数构建请求来看一下：

from urllib import request, parse
url = 'http://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIS 5.5; Windows NT)',
    'Host': 'httpbin.org'
}
dict = {
    'name': 'Germey'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

这里我们通过4个参数构造一个请求，其中url即请求URL，headers中指定了User-Agent和Host，参数data用urlopen（）和bytes（）方法转成字节流。另外，指定了请求方式为POST。

运行结果如下：

 观察结果可以发现，我们成功设置了data、headers和method。

另外，headers也可以用add_header（）方法来添加：

req = request.Request（url=url, data=data, method='POST')
req.add_header('User-Agent', 'Mozilla/4.0 (compatible: MSIE 5.5; Windows NT)')