Python爬虫从入门到精通——请求库Urllib的使用（二）：处理异常

Python爬虫Urllib库异常处理

最新推荐文章于 2025-10-11 15:52:43 发布

原创最新推荐文章于 2025-10-11 15:52:43 发布 · 5.1w 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫

Python爬虫从入门到精通专栏收录该内容

23 篇文章

订阅专栏

本文围绕Python爬虫中请求库Urllib的使用展开，着重介绍异常处理。在网络不佳时，异常处理可避免程序因报错终止。详细讲解了URLError和HTTPError，前者是异常模块基类，后者专门处理HTTP请求错误，还给出了相应代码示例及运行结果。

分类目录：《Python爬虫从入门到精通》总目录

请求库Urllib的使用（一）：发送请求
 请求库Urllib的使用（二）：处理异常
 请求库Urllib的使用（三）：解析链接
 请求库Urllib的使用（四）：Robots协议

在《请求库Urllib的使用（一）：发送请求》文章中，我们了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。

urllib的error模块定义了由request模块产生的异常。如果出现了问题，request模块便会抛出error模块中定义的异常。

URLError

URLError类来自urllib库的error模块，它继承自OSError类，是error异常模块的基类，由request模块生的异常都可以通过捕获这个类来处理。它具有一个属性reason，即返回错误的原因。

from urllib import request,error
try:
    response = request.urlopen('https://blog.asdn.net/hy592070616')
except error.URLError as e:
    print(e.reason)

我们打开一个不存在的页面（https://blog.asdn.net/hy592070616），即将本博客的csdn域名错误输入为asdn，照理来说应该会报错，但是这时我们捕获了URLError这个异常，运行结果如下：

[Errno 11001] getaddrinfo failed

程序没有直接报错，而是输出了如上内容，这样通过如上操作，我们就可以避免程序异常终止，同时异常得到了有效处理。

HTTPError

它是URLError的子类，专门用来处理HTTP请求错误，比如认证请求失败等。它有如下3个属性。

code：返回HTTP状态码，比如404表示网页不存在，500表示服务器内部错误等。
reason：同父类一样，用于返回错误的原因。
headers：返回请求头。

from urllib import request,error
try:
response = request.urlopen(‘https://blog.asdn.net/hy592070616’)
except error.HTTPError as e:
print(e.reason)
print(e.code)
print(e.headers)
except error.URLError as e:
print(e.reason)
else:
print(‘Request Sucessfully’)

运行结果和上节类似：

[Errno 11001] getaddrinfo failed

但是，若捕获了HTTPError异常，输出了reason、code和headers属性。因为URLError是HTTPError的父类，所以可以先选择捕获子类的错误，再去捕获父类的错误。若捕获了HTTPError异常，则可能输出如下：

Not Found
404
Server: nginx/1.10.3 (Ubuntu)
Date: Wed, 08 May 2019 02:54:46 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: close
Vary: Cookie
Expires: Wed, 11 Jan 1984 05:00:00 GMT
Cache-Control: no-cache, must-revalidate, max-age=0
Link: <https://cuiqingcai.com/wp-json/>; rel="https://api.w.org/"

同时，我们也可以通过用isinstance()方法来判断它的类型，作出更详细的异常判断。