【网络爬虫-07】处理异常

• 前一节了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。
• urllib 的 error 模块定义了由 request 模块产生的异常。如果出现了问题，request 模块便会抛出 error 模块中定义的异常。

1.URLError

URLError 类来自 urllib 库的 error 模块，它继承自 OSError 类，是 error 异常模块的基类，由 request 模块生的异常都可以通过捕获这个类来处理。
它具有一个属性 reason，即返回错误的原因。

from urllib import request, error
try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.URLError as e:
    print(e.reason)

打开一个不存在的页面，照理来说应该会报错，但是这时捕获了 URLError 这个异常，结果如下：
Not Found
程序没有直接报错，而是输出了如上内容，通过如上操作，就可以避免程序异常终止，同时异常得到了有效处理。

2. HTTPError

URLError 的子类	专门用来处理 HTTP 请求错误，比如认证请求失败等。它有如下 3 个属性。
code	返回 HTTP 状态码，比如 404 表示网页不存在，500 表示服务器内部错误等。
reason	同父类一样，用于返回错误的原因。
headers	返回请求头。

from urllib import request,error
try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')

Not Found
404
Server: GitHub.com
Date: Sat, 06 Feb 2021 14:26:11 GMT
Content-Type: text/html; charset=utf-8
X-NWS-UUID-VERIFY: c7c5d47aedfaf435901fbfd5e640a33b
Access-Control-Allow-Origin: *
ETag: "5ff19d26-c534"
x-proxy-cache: MISS
X-GitHub-Request-Id: 2898:1CBE:2978BD:2C0F0C:601EA702
Accept-Ranges: bytes
Age: 0
Via: 1.1 varnish
X-Served-By: cache-tyo11936-TYO
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1612621571.063955,VS0,VE362
Vary: Accept-Encoding
X-Fastly-Request-ID: a1c5058b3b0352d957e12f1229eabca4e1596037
X-Daa-Tunnel: hop_count=2
X-Cache-Lookup: Hit From Upstream
X-Cache-Lookup: Hit From Inner Cluster
Content-Length: 50484
X-NWS-LOG-UUID: 16884913172219770640
Connection: close
X-Cache-Lookup: Cache Miss

因为 URLError 是 HTTPError 的父类，所以可以先选择捕获子类的错误，再去捕获父类的错误，所以上述代码更好的写法如下：

from urllib import request, error

try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
    print(e.reason)
else:
    print('Request Successfully')

reason 属性返回的不一定是字符串，也可能是一个对象。再看下面的实例(直接设置超时时间来强制抛出 timeout 异常)：

import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:
    print(type(e.reason))
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

<class 'socket.timeout'>
TIME OUT

可以发现，reason 属性的结果是 socket.timeout 类。所以，这里用 isinstance() 方法来判断它的类型，作出更详细的异常判断。

转载
作者： 崔庆才
来源：[Python3 网络爬虫开发实战] 3.1.2 - 处理异常