爬虫之urllib.error模块

最新推荐文章于 2021-02-04 17:45:01 发布

h_k10086

最新推荐文章于 2021-02-04 17:45:01 发布

阅读量386

点赞数

error模块简介

我们在爬虫的时候发请求的时候难免出现错误，如访问不到服务器或者访问被禁止等等，

出错了之后urllib将错误信息封装成了一个模块对象中，这个模块就叫error模块

error的分类

分为URLError和HTTPError。

URLError是OSError的一个子类

有以下错误的时候错误信息就会被封装在URLError里：

无网络
有网络但是由于种种原因导致服务器连接失败

而如果能够连接服务器但是服务器返回了错误代码如404，403等等（400以上），那么催无信息就会被封装在HTTPError里

URLError与HttpError的区别和关系

区别：

URLError封装的错误信息一般是由网络引起的，包括url错误
HTTPError封装的错误信息一般是服务器返回了错误状态码

关系：

URLError是OSERROR的子类，HTTPError是URLError的子类

使用方法

error类是在捕获错误信息的时候使用，而且一般我们也需要进行捕获，因为你很难确定访问请求一定不会出现错误

 
         from  
         urllib  
         import  
         request 
        
         from  
         urllib  
         import  
         error 
        
         url  
         =  
         'http://baiduuuu.com' 
        
         try 
         : 
        
         res  
         =  
         request.Request(url) 
        
         response  
         =  
         request.urlopen(res) 
        
         print 
         (response.read().decode()) 
        
         except  
         error.HTTPError as he: 
        
         print 
         (he) 
        
         # print(he.reason) 
        
         except  
         error.URLError as ue: 
        
         print 
         (ue) 
        
         # print(ue.reason) 
        
         except  
         Exception as e: 
        
         print 
         (e)

注意：由于HTTPError是URLError的子类，所以捕获的时候HTTPError要放在URLError的上面

http://news.yif9712.cn/
http://www.cfs8763.top/
http://news.oee2689.cn/
http://www.jwv1856.cn/
http://www.vlc4617.top/
http://www.fsi2703.cn/
http://news.njb8631.cn/
http://news.gjc9646.cn/
http://www.grp2563.cn/
http://news.rol3427.cn/
http://news.wsa2392.cn/
http://news.rxi1689.cn/
http://www.xtz2685.cn/
http://news.csv7317.cn/
http://news.qru6126.cn/
http://news.lev2249.cn/
http://www.oqc1977.cn/
http://www.mau6270.cn/
http://www.nyc9430.cn/
http://www.slg0631.top/
http://www.huh0545.cn/
http://www.sbx6519.top/
http://news.eig6365.cn/
http://www.ntd5264.cn/
http://news.ucl3937.cn/
http://www.igf1400.cn/
http://www.acj2609.cn/
http://www.jla2696.top/
http://www.kwb2561.top/
http://www.usx0758.cn/
http://news.dyy3200.cn/
http://news.sit9945.cn/
http://news.dyq9159.cn/
http://news.mox2684.cn/
http://www.mmc0244.top/
http://news.jwv1856.cn/
http://www.ass0795.cn/
http://www.evv5980.cn/
http://news.idd5091.cn/
http://news.yif9712.cn/
http://www.vpk8803.cn/
http://www.xum5501.cn/
http://www.wzf9854.cn/
http://www.tdw5546.cn/
http://www.xkk9615.cn/
http://news.yyf8629.cn/
http://www.zis3531.cn/
http://www.aht8537.cn/
http://www.rxi1689.cn/
http://www.rlo9176.cn/
http://www.fjv3790.top/
http://www.sdx1013.top/
http://www.ftw8814.top/
http://www.dyy3200.cn/
http://www.qnu9925.cn/
http://www.rlv0165.cn/
http://www.hmb6894.cn/
http://www.toy2618.cn/