python 爬虫网络超时与异常

最新推荐文章于 2025-05-06 17:42:33 发布

戴上微笑

最新推荐文章于 2025-05-06 17:42:33 发布

阅读量1.6k

点赞数 1

本文链接：https://blog.csdn.net/dai1987csdn/article/details/110384925

版权

爬虫专栏收录该内容

14 篇文章

订阅专栏

本文介绍了使用Python requests库在访问网页时如何处理网络异常，特别是超时、HTTP错误和其他请求异常。通过示例代码展示了如何捕获和处理ReadTimeout、HTTPError和RequestException，并给出了对应的异常处理代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在访问一个网页时，如果该网页长时间未响应，系统就会判断该网页超时，无法打开网页。模拟代码如下：

import requests
for a in range(0,100):
    try:
        response = requests.get('http://www.baidu.com/', timeout=0.02)
        print(response.status_code)
    except Exception as e:
        print('异常'+str(e))

抛出的异常：

异常HTTPConnectionPool(host='www.baidu.com', port=80): Read timed out. (read timeout=0.02)

识别网络异常的分类
针对网络异常信息，requests模块同样提供了三种常见的网络异常捕获异常，代码如下：

import requests
from requests.exceptions import ReadTimeout,HTTPError,RequestException
for a in range(0,100):
    try:
        response = requests.get('http://www.baidu.com/', timeout=0.02)
        print(response.status_code)
    except ReadTimeout:#超时异常
        print('time out')
    except HTTPError:#HTTP异常
        print('httperror')
    except RequestException:#请求异常
        print('reqerror')