Python爬虫 之处理异常

进行异常处理我们经常使用try…except语句,在try中执行主要代码,在except中捕获异常信息,并进行相应的异常处理。

一、爬虫中异常主要有两大类:

(1)URLError类

(2)HTTPError类

一般产生Error的原因有如下几种可能:

网络无连接,即本机无法上网
链接不到特定服务器
服务器不存在
触发了HTTPError

注意:HTTPError无法处理以上前三种错误,要用URLError!
两者都是异常处理的类,HTTPError是URLError的子类,HTTPError有异常状态码与异常原因,
URLError没有异常状态码。所以,在处理的时候,不能使用URLError直接代替HTTPError。如果要代替,必须要判断是否有状态码属性。

URLError

具有reason,即返回错误原因

import urllib.request
import urllib.error

try:   
    urllib.request.urlopen("http://www.haoweixl.com")
    print ("OK")
except urllib.error.URLError as e:
    print (e.reason)        #异常原因

结果为:

Not Found

2.HTTPError:

HTTPError是URLError的子类,专门用来处理HTTP请求错误,比如认证失败等。

具有如下三个属性:

code: 返回HTTP状态码。
reason:同父类一样,用于返回错误原因。
headers:返回请求头。

from urllib import request, error

try:
    response = request.urlopen('https://i.csdn.net/index45abs.html')
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)

结果为:

Not Found
404
Server: openresty
Date: Thu, 05 Mar 2020 07:13:20 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 166
Connection: close

因为URLError是HTTPError的父类,根据编程经验,父类的异常应当写到子类异常的后面,所以可以先选择子类错误,再去捕获父类错误。所以上述代码更好的写法是:

from urllib import request, error

try:
    response = request.urlopen('https://i.csdn.net/index45abs.html')
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)
except error.URLError as e:
    print(e.reason)
else:
    print('Request Successfully')

结果为:

Not Found
404
Server: openresty
Date: Thu, 05 Mar 2020 07:23:29 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 166
Connection: close

另外还可以用hasattr()函数来判断是否具有这些属性,这样就不会出错,也就是,有e.code 就输出,没有就自动忽略;e.reason同理。故改写如下:

from urllib import request, error

url = 'https://www.baidu.com'
try:
    response = request.urlopen(url)
except error.HTTPError as e:
    if hasattr(e, "reason"):
        print (e.reason)
    if hasattr(e, "code"):    
        print(e.code)
    if hasattr(e, "headers"):    
        print(e.headers)
except error.URLError as e:
    print(e.reason)
else:
    print('Request Successfully')

HTTP状态码表示HTTP协议所返回的响应的状态。下面将状态码归结如下:

100:继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。

101: 转换协议 在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。

102:继续处理 由WebDAV(RFC 2518)扩展的状态码,代表处理将被继续执行。

200:请求成功 处理方式:获得响应的内容,进行处理

201:请求完成,结果是创建了新资源。新创建资源的URI可在响应的实体中得到 处理方式:爬虫中不会遇到

202:请求被接受,但处理尚未完成 处理方式:阻塞等待

204:服务器端已经实现了请求,但是没有返回新的信 息。如果客户是用户代理,则无须为此更新自身的文档视图。 处理方式:丢弃

300:该状态码不被HTTP/1.0的应用程序直接使用, 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。 处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃
301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源 处理方式:重定向到分配的URL

302:请求到的资源在一个不同的URL处临时保存 处理方式:重定向到临时的URL

304:请求的资源未更新 处理方式:丢弃

400:非法请求 处理方式:丢弃

401:未授权 处理方式:丢弃

403:禁止 处理方式:丢弃

404:没有找到 处理方式:丢弃

500:服务器内部错误 服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。一般来说,这个问题都会在服务器端的源代码出现错误时出现。

501:服务器无法识别 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法,并且无法支持其对任何资源的请求。

502:错误网关 作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。

503:服务出错 由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

何为xl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值