【Python3 爬虫学习笔记】基本库的使用 3 —— 使用urllib

2. 处理异常

urllib的error模块定义了有request模块产生的异常。如果出现了问题，request模块便会抛出error模块中定义的异常。

2.1 URLError

URLError类来自urllib库的error模块，它继承自OSError类，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类来处理。
实例：

from urllib import request, error
try:
    response = request.urlopen('https://cuiqingcai.com/index.htm')
except error.URLError as e:
    print(e.reason)

打开一个不存在的页面，理论上应该会报错，但由于设置了捕获URLError异常，运行结果如下：

Not Found

程序没有直接报错，而是输出了如上内容，这样通过如上操作就可以避免程序异常终止，同时异常得到了有效处理。

2.2 HTTPError

HTTPError是URLError的子类，专门用来处理HTTP请求错误，比如认证请求失败等。有如下3个属性：

• code：返回HTTP状态码，比如404表示网页不存在，500表示服务器内部错误等。
• reson：同父类一样，用于返回错误的原因。
• headers：返回请求头。

from urllib import request, error
try:
    response = request.urlopen('https://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, seq='\n')

因为URLError是HTTPError的父类，所以可以先选择捕获子类的错误，再去捕获父类的错误，所以上述代码更好的写法如下：

from urllib import request, error

try:
    response = request.urlopen('https://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
    print(e.reason)
else:
    print('Request Successfully')