分类目录:《Python爬虫从入门到精通》总目录
请求库Urllib的使用(一):发送请求
请求库Urllib的使用(二):处理异常
请求库Urllib的使用(三):解析链接
请求库Urllib的使用(四):Robots协议
在《请求库Urllib的使用(一):发送请求》文章中,我们了解了请求的发送过程,但是在网络不好的情况下,如果出现了异常,该怎么办呢?这时如果不处理这些异常,程序很可能因报错而终止运行,所以异常处理还是十分有必要的。
urllib
的error
模块定义了由request
模块产生的异常。如果出现了问题,request
模块便会抛出error
模块中定义的异常。
URLError
URLError
类来自urllib
库的error
模块,它继承自OSError
类,是error
异常模块的基类,由request
模块生的异常都可以通过捕获这个类来处理。它具有一个属性reason
,即返回错误的原因。
from urllib import request,error
try:
response = request.urlopen('https://blog.asdn.net/hy592070616')
except error.URLError as e:
print(e.reason)
我们打开一个不存在的页面(https://blog.asdn.net/hy592070616),即将本博客的csdn
域名错误输入为asdn
,照理来说应该会报错,但是这时我们捕获了URLError这个异常,运行结果如下:
[Errno 11001] getaddrinfo failed
程序没有直接报错,而是输出了如上内容,这样通过如上操作,我们就可以避免程序异常终止,同时异常得到了有效处理。
HTTPError
它是URLError
的子类,专门用来处理HTTP请求错误,比如认证请求失败等。它有如下3个属性。
-
code:返回HTTP状态码,比如404表示网页不存在,500表示服务器内部错误等。
-
reason:同父类一样,用于返回错误的原因。
-
headers:返回请求头。
from urllib import request,error
try:
response = request.urlopen(‘https://blog.asdn.net/hy592070616’)
except error.HTTPError as e:
print(e.reason)
print(e.code)
print(e.headers)
except error.URLError as e:
print(e.reason)
else:
print(‘Request Sucessfully’)
运行结果和上节类似:
[Errno 11001] getaddrinfo failed
但是,若捕获了HTTPError
异常,输出了reason
、code
和headers
属性。因为URLError
是HTTPError
的父类,所以可以先选择捕获子类的错误,再去捕获父类的错误。若捕获了HTTPError
异常,则可能输出如下:
Not Found
404
Server: nginx/1.10.3 (Ubuntu)
Date: Wed, 08 May 2019 02:54:46 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: close
Vary: Cookie
Expires: Wed, 11 Jan 1984 05:00:00 GMT
Cache-Control: no-cache, must-revalidate, max-age=0
Link: <https://cuiqingcai.com/wp-json/>; rel="https://api.w.org/"
同时,我们也可以通过用isinstance()
方法来判断它的类型,作出更详细的异常判断。