python爬虫基础（八）urllib中的高级用法

3.高级用法

对于如Cookies处理、代理设置等，我们就需要更强大的工具如Handler。

先介绍urrllib.request模块里的BaseHandler类，它是其他Handler的父亲，它提供了最基本的方法，如default_open()、protocol_request等。

接着，各种Handler子类继承这个BaseHandler类：

HTTPDefaultErrorHandler:用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。

HTTPRedirectHandler：用于处理重定向。

HTTPCookieProcessor：用于处理Cookies。

PorxyHandler：用于设置代理，默认代理为空。

HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。

HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

其他Handler类

另一个比较重要的类是OpenerDirector，称之为Opener。我们之前用过urlopen（）这个方法，实际上它就是urllib为我们提供的一个Opener。

Opener能深入一层进行配置，使用更底层的实例来完成操作。

我们可以利用Handler来构建Opener，Opener可以使用open（）方法，返回类型和urlopen（）如出一辙。

下面来看看它们的用法。

验证

当我们请求像需要输入用户名和密码的网站时，需要借助HTTPBasicAuthHandler完成，相关代码如下：

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
from urllib.error import URLError
username = 'username'
password = 'password'
url = 'http://llocalhost:5000/'
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)
try:
    result = opener.open(url)
    html = result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

（但运行这个代码时，会报错：

）

 这里首先实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password()添加进去用户名和密码，这样就建立了一个处理验证的Handler。

接下来用这个Handler并使用build_opener()方法构建一个Opener，这个Opener在发送请求时就相当于已经验证成功了。

接下来利用Opener的open（）方法打开链接。就可以完成验证了。

代理

在做爬虫时免不了要用到代理，如果要添加代理。可以这么做：

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
proxy_handler=ProxyHandler({
    'http':'http://127.0.0.1:9732',
    'https':'https://127.0.0.1:9743'
})
opener=build_opener(proxy_handler)
try:
    response=opener.open('https://www,baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

也报错了...

这里我们在本地搭建了一个代理，它运行了9743端口上。

这里使用了ProxyHandler，其参数是一个字典，键名是协议类型（如HTTP或HTTPS等），键值是代理链接，可以添加多个代理。

然后，利用这个Handler及build_opener()方法构建一个Opener，之后发送请求即可。

Cookies

Cookies的处理就需要相关的Handler了。

先用实例来看看怎样将网站的Cookies获取下来，相关代码如下：

import http.cookiejar,urllib.request
cookies =http.cookiejar.CookieJar()
handler=urllib.request.HTTPCookieProcessor(cookies)
opener=urllib.request.build_opener(handler)
response=opener.open('http://www.baidu.com')
for item in cookies:
    print(item.name+"="+item.value)

首先，我们必须声明一个CookieJar对象。接下来。就需要利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener()方法构建出Opener，执行open（）即可。

 可以看到这里输出了，每条Cookie的名称和值。

也能输出成文本文件格式：

filename='cookies.txt'
cookie=http.cookiejar.MozillaCookieJar(filename)
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
response=opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

这时CookieJar就需要换成MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，可用来处理Cookies和文件相关事件，比如读取和保存Cookies，可以将Cookies保存成Mozilla型浏览器的Cookies格式。

另外，LWPCookieJar同样可以读取和保存Cookies，但是保存格式和MozillaCookieJar不一样，它会保存成libwww-perl(LWP)格式的Cookies文件。

要保存成LWP格式的Cookies文件，可以在声明时就改为：

cookie=http.cookiejar.LWPCookieJar(filename)

生成了Cookies文件后如何读取并利用？

下面我们以LWPCookieJar格式为例来看：

import urllib.request
cookie=http.cookies.LWPCookieJar()
cookie.load('cookies.txt',ignore_discard=True,ignore_expires=True)
handler=urllib.request.HTTPCookieProcessor(cookies)
opener=urllib.request.build_opener(handler)
response=opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

可以看到，这里调用load（）方法来读取本地的Cookies文件，获取了Cookies的内容。不过前提是我们首先生成了LWPCookieJar格式的Cookies，并保存成文件，如何读取Cookies之后使用同样的方法构建Handler和Opener即可完成操作。