python3网络爬虫实战测验3_[Python3网络爬虫开发实战] 3.1.1-发送请求

使用urllib的request模块，我们可以方便地实现请求的发送并得到响应，本节就来看下它的具体用法。

1. urlopen()

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证(authenticaton)、重定向(redirection)、浏览器Cookies以及其他内容。

下面我们来看一下它的强大之处。这里以Python官网为例，我们来把这个网页抓下来：

1

2

3

4

import urllib.request

response=urllib.request.urlopen('https://www.python.org')

print(response.read().decode('utf-8'))

运行结果如图3-1所示。

图3-1 运行结果

这里我们只用了两行代码，便完成了Python官网的抓取，输出了网页的源代码。得到源代码之后呢？我们想要的链接、图片地址、文本信息不就都可以提取出来了吗？

接下来，看看它返回的到底是什么。利用type()方法输出响应的类型：

1

2

3

4

import urllib.request

response=urllib.request.urlopen('https://www.python.org')

print(type(response))

输出结果如下：

1

可以发现，它是一个HTTPResposne类型的对象。它主要包含read()、readinto()、getheader(name)、getheaders()、fileno()等方法，以及msg、version、status、reason、debuglevel、closed等属性。

得到这个对象之后，我们把它赋值为response变量，然后就可以调用这些方法和属性，得到返回结果的一系列信息了。

例如，调用read()方法可以得到返回的网页内容，调用status属性可以得到返回结果的状态码，如200代表请求成功，404代表网页未找到等。

下面再通过一个实例来看看：

1

2

3

4

5

6

import urllib.request

response=urllib.request.urlopen('https://www.python.org')

print(response.status)

print(response.getheaders())

print(response.getheader('Server'))

运行结果如下：

1

2

3

200

[('Server','nginx'),('Content-Type','text/html; charset=utf-8'),('X-Frame-Options','SAMEORIGIN'),('X-Clacks-Overhead','GNU Terry Pratchett'),('Content-Length','47397'),('Accept-Ranges','bytes'),('Date','Mon, 01 Aug 2016 09:57:31 GMT'),('Via','1.1 varnish'),('Age','2473'),('Connection','close'),('X-Served-By','cache-lcy1125-LCY'),('X-Cache','HIT'),('X-Cache-Hits','23'),('Vary','Cookie'),('Strict-Transport-Security','max-age=63072000; includeSubDomains')]

nginx

可见，前两个输出分别输出了响应的状态码和响应的头信息，最后一个输出通过调用getheader()方法并传递一个参数Server获取了响应头中的Server值，结果是nginx，意思是服务器是用Nginx搭建的。

利用最基本的urlopen()方法，可以完成最基本的简单网页的GET请求抓取。

如果想给链接传递一些参数，该怎么实现呢？首先看一下urlopen()函数的API：

1

urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)

可以发现，除了第一个参数可以传递URL之外，我们还可以传递其他内容，比如data(附加数据)、timeout(超时时间)等。

下面我们详细说明下这几个参数的用法。

data参数

data参数是可选的。如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过bytes()方法转化。另外，如果传递了这个参数，则它的请求方式就不再是GET方式，而是POST方式。

下面用实例来看一下：

1

2

3

4

5

6

import urllib.parse

import urllib.request

data=bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf8')

response=urllib.request.urlopen('http://httpbin.org/post',data=data)

print(response.read())

这里我们传递了一个参数word，值是hello。它需要被转码成bytes(字节流)类型。其中转字节流采用了bytes()方法，该方法的第一个参数需要是str(字符串)类型，需要用urllib.parse模块里的urlencode()方法来将参数字典转化为字符串；第二个参数指定编码格式，这里指定为utf8。

这里请求的站点是httpbin.org，它可以提供HTTP请求测试。本次我们请求的URL为http://httpbin.org/post，这个链接可以用来测试POST请求，它可以输出请求的一些信息，其中包含我们传递的data参数。

运行结果如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

{

"args":{},

"data":"",

"files":{},

"form":{

"word":"hello"

},

"headers":{

"Accept-Encoding":"identity",

"Content-Length":"10",

"Content-Type":"application/x-www-form-urlencoded",

"Host":"httpbin.org",

"User-Agent":"Python-urllib/3.5"

},

"json":null,

"origin":"123.124.23.253",

"url":"http://httpbin.org/post"

}

我们传递的参数出现在了form字段中，这表明是模拟了表单提交的方式，以POST方式传输数据。

timeout参数

timeout参数用于设置超时时间，单位为秒，意思就是如果请求超出了设置的这个时间，还没有得到响应，就会抛出异常。如果不指定该参数，就会使用全局默认时间。它支持HTTP、HTTPS、FTP请求。

下面用实例来看一下：

1

2

3

4

import urllib.request

response=urllib.request.urlopen('http://httpbin.org/get',timeout=1)

print(response.read())

运行结果如下：

1

2

3

4

5

During handling of the above exception,another exception occurred:

Traceback(most recent call last):File"/var/py/python/urllibtest.py",line4,inresponse=urllib.request.urlopen('http://httpbin.org/get',timeout=1)

...

urllib.error.URLError:

这里我们设置超时时间是1秒。程序1秒过后，服务器依然没有响应，于是抛出了URLError异常。该异常属于urllib.error模块，错误原因是超时。

因此，可以通过设置这个超时时间来控制一个网页如果长时间未响应，就跳过它的抓取。这可以利用try except语句来实现，相关代码如下：

1

2

3

4

5

6

7

8

9

import socket

import urllib.request

import urllib.error

try:

response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)

except urllib.error.URLError ase:

ifisinstance(e.reason,socket.timeout):

print('TIME OUT')

这里我们请求了http://httpbin.org/get测试链接，设置超时时间是0.1秒，然后捕获了URLError异常，接着判断异常是socket.timeout类型(意思就是超时异常)，从而得出它确实是因为超时而报错，打印输出了TIME OUT。

运行结果如下：

1

TIME OUT

按照常理来说，0.1秒内基本不可能得到服务器响应，因此输出了TIME OUT的提示。

通过设置timeout这个参数来实现超时处理，有时还是很有用的。

其他参数

除了data参数和timeout参数外，还有context参数，它必须是ssl.SSLContext类型，用来指定SSL设置。

此外，cafile和capath这两个参数分别指定CA证书和它的路径，这个在请求HTTPS链接时会有用。

cadefault参数现在已经弃用了，其默认值为False。

前面讲解了urlopen()方法的用法，通过这个最基本的方法，我们可以完成简单的请求和网页抓取。若需更加详细的信息，可以参见官方文档：https://docs.python.org/3/library/urllib.request.html。

2. Request

我们知道利用urlopen()方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建。

首先，我们用实例来感受一下Request的用法：

1

2

3

4

5

import urllib.request

request=urllib.request.Request('https://python.org')

response=urllib.request.urlopen(request)

print(response.read().decode('utf-8'))

可以发现，我们依然是用urlopen()方法来发送这个请求，只不过这次该方法的参数不再是URL，而是一个Request类型的对象。通过构造这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可更加丰富和灵活地配置参数。

下面我们看一下Request可以通过怎样的参数来构造，它的构造方法如下：

1

classurllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)

第一个参数url用于请求URL，这是必传参数，其他都是可选参数。

第二个参数data如果要传，必须传bytes(字节流)类型的。如果它是字典，可以先用urllib.parse模块里的urlencode()编码。

第三个参数headers是一个字典，它就是请求头，我们可以在构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header()方法添加。

添加请求头最常用的用法就是通过修改User-Agent来伪装浏览器，默认的User-Agent是Python-urllib，我们可以通过修改它来伪装浏览器。比如要伪装火狐浏览器，你可以把它设置为：

1

Mozilla/5.0(X11;U;Linux i686)Gecko/20071127Firefox/2.0.0.11

第四个参数origin_req_host指的是请求方的host名称或者IP地址。

第五个参数unverifiable表示这个请求是否是无法验证的，默认是False，意思就是说用户没有足够权限来选择接收这个请求的结果。例如，我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时unverifiable的值就是True`。

第六个参数method是一个字符串，用来指示请求使用的方法，比如GET、POST和PUT等。

下面我们传入多个参数构建请求来看一下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

from urllib import request,parse

url='http://httpbin.org/post'

headers={

'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',

'Host':'httpbin.org'

}

dict={

'name':'Germey'

}

data=bytes(parse.urlencode(dict),encoding='utf8')

req=request.Request(url=url,data=data,headers=headers,method='POST')

response=request.urlopen(req)

print(response.read().decode('utf-8'))

这里我们通过4个参数构造了一个请求，其中url即请求URL，headers中指定了User-Agent和Host，参数data用urlencode()和bytes()方法转成字节流。另外，指定了请求方式为POST。

运行结果如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

{

"args":{},

"data":"",

"files":{},

"form":{

"name":"Germey"

},

"headers":{

"Accept-Encoding":"identity",

"Content-Length":"11",

"Content-Type":"application/x-www-form-urlencoded",

"Host":"httpbin.org",

"User-Agent":"Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"

},

"json":null,

"origin":"219.224.169.11",

"url":"http://httpbin.org/post"

}

观察结果可以发现，我们成功设置了data、headers和method。

另外，headers也可以用add_header()方法来添加：

1

2

req=request.Request(url=url,data=data,method='POST')

req.add_header('User-Agent','Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')

如此一来，我们就可以更加方便地构造请求，实现请求的发送啦。

3. 高级用法

在上面的过程中，我们虽然可以构造请求，但是对于一些更高级的操作(比如Cookies处理、代理设置等)，我们该怎么办呢？

接下来，就需要更强大的工具Handler登场了。简而言之，我们可以把它理解为各种处理器，有专门处理登录验证的，有处理Cookies的，有处理代理设置的。利用它们，我们几乎可以做到HTTP请求中所有的事情。

首先，介绍一下urllib.request模块里的BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法，例如default_open()、protocol_request()等。

接下来，就有各种Handler子类继承这个BaseHandler类，举例如下。

HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。

HTTPRedirectHandler：用于处理重定向。

HTTPCookieProcessor：用于处理Cookies。

ProxyHandler：用于设置代理，默认代理为空。

HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。

HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

关于怎么使用它们，现在先不用着急，后面会有实例演示。

另一个比较重要的类就是OpenerDirector，我们可以称为Opener。我们之前用过urlopen()这个方法，实际上它就是urllib为我们提供的一个Opener。

那么，为什么要引入Opener呢？因为需要实现更高级的功能。之前使用的Request和urlopen()相当于类库为你封装好了极其常用的请求方法，利用它们可以完成基本的请求，但是现在不一样了，我们需要实现更高级的功能，所以需要深入一层进行配置，使用更底层的实例来完成操作，所以这里就用到了Opener。

Opener可以使用open()方法，返回的类型和urlopen()如出一辙。那么，它和Handler有什么关系呢？简而言之，就是利用Handler来构建Opener。

下面用几个实例来看看它们的用法。

验证

有些网站在打开时就会弹出提示框，直接提示你输入用户名和密码，验证成功后才能查看页面，如图3-2所示。

图3-2 验证页面

那么，如果要请求这样的页面，该怎么办呢？借助HTTPBasicAuthHandler就可以完成，相关代码如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener

from urllib.error import URLError

username='username'

password='password'

url='http://localhost:5000/'

p=HTTPPasswordMgrWithDefaultRealm()

p.add_password(None,url,username,password)

auth_handler=HTTPBasicAuthHandler(p)

opener=build_opener(auth_handler)

try:

result=opener.open(url)

html=result.read().decode('utf-8')

print(html)

except URLError ase:

print(e.reason)

这里首先实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password()添加进去用户名和密码，这样就建立了一个处理验证的Handler。

接下来，利用这个Handler并使用build_opener()方法构建一个Opener，这个Opener在发送请求时就相当于已经验证成功了。

接下来，利用Opener的open()方法打开链接，就可以完成验证了。这里获取到的结果就是验证后的页面源码内容。

代理

在做爬虫的时候，免不了要使用代理，如果要添加代理，可以这样做：

1

2

3

4

5

6

7

8

9

10

11

12

13

from urllib.error import URLError

from urllib.request import ProxyHandler,build_opener

proxy_handler=ProxyHandler({

'http':'http://127.0.0.1:9743',

'https':'https://127.0.0.1:9743'

})

opener=build_opener(proxy_handler)

try:

response=opener.open('https://www.baidu.com')

print(response.read().decode('utf-8'))

except URLError ase:

print(e.reason)

这里我们在本地搭建了一个代理，它运行在9743端口上。

这里使用了ProxyHandler，其参数是一个字典，键名是协议类型(比如HTTP或者HTTPS等)，键值是代理链接，可以添加多个代理。

然后，利用这个Handler及build_opener()方法构造一个Opener，之后发送请求即可。

Cookies

Cookies的处理就需要相关的Handler了。

我们先用实例来看看怎样将网站的Cookies获取下来，相关代码如下：

1

2

3

4

5

6

7

8

import http.cookiejar,urllib.request

cookie=http.cookiejar.CookieJar()

handler=urllib.request.HTTPCookieProcessor(cookie)

opener=urllib.request.build_opener(handler)

response=opener.open('http://www.baidu.com')

foritem incookie:

print(item.name+"="+item.value)

首先，我们必须声明一个CookieJar对象。接下来，就需要利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener()方法构建出Opener，执行open()函数即可。

运行结果如下：

1

2

3

4

5

6

BAIDUID=2E65A683F8A8BA3DF521469DF8EFF1E1:FG=1

BIDUPSID=2E65A683F8A8BA3DF521469DF8EFF1E1

H_PS_PSSID=20987_1421_18282_17949_21122_17001_21227_21189_21161_20927

PSTM=1474900615

BDSVRTM=0

BD_HOME=0

可以看到，这里输出了每条Cookie的名称和值。

不过既然能输出，那可不可以输出成文件格式呢？我们知道Cookies实际上也是以文本形式保存的。

答案当然是肯定的，这里通过下面的实例来看看：

1

2

3

4

5

6

filename='cookies.txt'

cookie=http.cookiejar.MozillaCookieJar(filename)

handler=urllib.request.HTTPCookieProcessor(cookie)

opener=urllib.request.build_opener(handler)

response=opener.open('http://www.baidu.com')

cookie.save(ignore_discard=True,ignore_expires=True)

这时CookieJar就需要换成MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，可以用来处理Cookies和文件相关的事件，比如读取和保存Cookies，可以将Cookies保存成Mozilla型浏览器的Cookies格式。

运行之后，可以发现生成了一个cookies.txt文件，其内容如下：

1

2

3

4

5

6

7

8

9

10

# Netscape HTTP Cookie File

# http://curl.haxx.se/rfc/cookie_spec.html

# This is a generated file!  Do not edit.

.baidu.com    TRUE/FALSE3622386254BAIDUID05AE39B5F56C1DEC474325CDA522D44F:FG=1

.baidu.com    TRUE/FALSE3622386254BIDUPSID05AE39B5F56C1DEC474325CDA522D44F

.baidu.com    TRUE/FALSEH_PS_PSSID19638_1453_17710_18240_21091_18560_17001_21191_21161

.baidu.com    TRUE/FALSE3622386254PSTM1474902606

www.baidu.com    FALSE/FALSEBDSVRTM0

www.baidu.com    FALSE/FALSEBD_HOME0

另外，LWPCookieJar同样可以读取和保存Cookies，但是保存的格式和MozillaCookieJar不一样，它会保存成libwww-perl(LWP)格式的Cookies文件。

要保存成LWP格式的Cookies文件，可以在声明时就改为：

1

cookie=http.cookiejar.LWPCookieJar(filename)

此时生成的内容如下：

1

2

3

4

5

6

7

#LWP-Cookies-2.0

Set-Cookie3:BAIDUID="0CE9C56F598E69DB375B7C294AE5C591:FG=1";path="/";domain=".baidu.com";path_spec;domain_dot;expires="2084-10-14 18:25:19Z";version=0

Set-Cookie3:BIDUPSID=0CE9C56F598E69DB375B7C294AE5C591;path="/";domain=".baidu.com";path_spec;domain_dot;expires="2084-10-14 18:25:19Z";version=0

Set-Cookie3:H_PS_PSSID=20048_1448_18240_17944_21089_21192_21161_20929;path="/";domain=".baidu.com";path_spec;domain_dot;discard;version=0

Set-Cookie3:PSTM=1474902671;path="/";domain=".baidu.com";path_spec;domain_dot;expires="2084-10-14 18:25:19Z";version=0

Set-Cookie3:BDSVRTM=0;path="/";domain="www.baidu.com";path_spec;discard;version=0

Set-Cookie3:BD_HOME=0;path="/";domain="www.baidu.com";path_spec;discard;version=0

由此看来，生成的格式还是有比较大差异的。

那么，生成了Cookies文件后，怎样从文件中读取并利用呢？

下面我们以LWPCookieJar格式为例来看一下：

1

2

3

4

5

6

cookie=http.cookiejar.LWPCookieJar()

cookie.load('cookies.txt',ignore_discard=True,ignore_expires=True)

handler=urllib.request.HTTPCookieProcessor(cookie)

opener=urllib.request.build_opener(handler)

response=opener.open('http://www.baidu.com')

print(response.read().decode('utf-8'))

可以看到，这里调用load()方法来读取本地的Cookies文件，获取到了Cookies的内容。不过前提是我们首先生成了LWPCookieJar格式的Cookies，并保存成文件，然后读取Cookies之后使用同样的方法构建Handler和Opener即可完成操作。

运行结果正常的话，会输出百度网页的源代码。

通过上面的方法，我们可以实现绝大多数请求功能的设置了。