爬虫异常处理（状态码、常见错误）

最新推荐文章于 2021-12-03 07:45:45 发布
最新推荐文章于 2021-12-03 07:45:45 发布
阅读量2.2k 收藏 1
点赞数 1
分类专栏： python爬虫 文章标签： python 经验分享 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43388615/article/details/105087457
版权

  1. 必要性: 爬虫在运行的过程中，很多时候都会遇到异常。如果没有异常处理，爬虫遇到异常时就会直接崩溃停止运行，要开发一个具有顽强生命力的爬虫，必须进行异常处理。

  2. 常见状态码及含义:

    301		Moved Permanently: 重定向到新的URL，永久性
302 	Fount: 重定向到新临时的URL，非永久性
304		Not Modified: 请求资源未更新
400     Bad Request: 非法请求
401 	Unauthorized 请求未经授权
403		Forbidden: 禁止访问
404		Not Found : 没有找到对应页面
500		Internal Server Error: 服务器内部出错
501		Not Implmented: 服务器不支持实现请求所需的功能

  3. URLError与HTTPError:
    两者都是异常处理的类，HTTPError是URlError的子类，HTTPError有异常处理状态码与异常原因，URLError没有异常状态码，在处理的时候，不能直接使用URLError直接代替HTTPError。如果要代替，必须要判断是否有状态码属性

    UELError出现大的原因(HTTPError无法做到):

    	(1) 连不上服务器
	(2) 远程URL不存在
	(3) 无网络
	(4) 触发了HTTPError
Leadingme
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬取数据时，HTTP ERROR 401解决办法
qq_41476714的博客
04-15 500
在爬取网页数据时，遇到这样一个问题：浏览器能整成浏览，按F12，打开network，找到数据所在的链接，双击（或者将header中的Request URL复制粘贴到浏览器地址栏），发现报了401的错误。
Python爬虫小技巧（页面解析，多进程，模拟浏览器，错误处理等）
huludan的专栏
02-08 596
本博文总结一些常用的爬虫小技巧，不涉及任何爬虫框架，适用于为科学研究或者教育目的而从互联网上爬取少量数据，内容较为粗略，仅从较高抽象层次进行说明，涉及的模块使用方法或者代码实现可以另行搜索其他相关资料参考。 数据需求分析 首先，要明确实验项目需要哪些数据，例如电商网页中的商品名字、商品价格或者社交网站中的评论标题、评论发表时间等。 网页结构分析 根据上一步的数据需求分析结果，分析含有...
玩转python爬虫之URLError异常处理
12-23
本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。 1.URLError 首先解释下URLError可能产生的原因： 网络无连接，即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚 import urllib2 requset = urllib2.Request('http://www.xxxxx.com') try: urllib2.urlopen(requset) except urllib2.URLError, e: print e
python 爬虫入门（5） url异常处理 ； cookie使用 ；cookielib
水野与小太郎的博客
08-07 719
一：url 异常 我们在此之前已经了解到url异常一共包含两个异常： exception urllib2.URLError ：包含 reason（姑且叫做reason方法吧）【reason用来显示错误理由】              AND exception urllib2.HTTPError ：包含 code 和 reason 【code显示H
老卫带你学---python反爬虫与反反爬虫
老卫带你学
08-10 1480
老卫带你学—python反爬虫与反反爬虫 在抓取对方网站、APP 应用的相关数据时，经常会遇到一系列的方法阻止爬虫。一方面是为了保证服务的质量，另一方面是保护数据不被获取。常见的一些反爬虫 和反反爬虫的手段如下。 （1）IP 限制 IP 限制是很常见的一种反爬虫的方式。服务端在一定时间内统计 IP 地址的访问 次数，当次数、频率达到一定阈值时返回错误码或者拒绝服务。这种方式比较直接 简单，但在 IPv4 资源越来越不足的情况下，很多用户共享一个 IP 出口，典型的如“长 城宽带”等共享型的 ISP。另外手机
【Python学习笔记2】Python网络爬虫的异常处理
陈小超的技术博客
10-28 515
本文信息主要来源于韦玮老师的《精通python网络爬虫》，仅作为个人学习笔记。 通过python库函数urllib.request去爬取网页时，遇到的异常主要时URL类和网页类的错误，python已提供URLError类和HTTPError类来处理。 【URLError】可能原因： 1、链接不上服务器；2、远程URL不存在；3、无网络 【HTTPError】可能原因，可通过状态码分类： ...
爬虫中的异常处理
flysh05的专栏
12-03 849
2021.12.03 07:44:21字数 252阅读 0编辑文章URLError和HTTPErrorHTTPError类是URLError类的子类导入包 import urllib.errorhttp 错误是针对浏览器无法连接到服务器而增加的错误提示。引导并告诉浏览者该页是哪里出现了问题。通过urllib发送请求的时候，有可能发送失败，这时可通过try--except 进行捕获，异常有2类，URLError，HTTPError。测试代码：# _*_ coding: utf-8 _*_# @Tim
爬虫三——异常
肉丸不肉
02-20 309
''' 异常处理 程序在运行过程中, 出现了一些未知错误 捕获异常 try: 可能出现异常的代码 except: 对异常进行处理 ''' a = 10 b = 0 try: c = a / b print('a / b = ' + str(c)) except: print('除数不能是0') print...
python网络爬虫的异常处理
魔亦有道的博客
03-30 1248
本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理 1.URLError首先解释下URLError可能产生的原因：网络无连接，即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚import urllib.request requset = urllib2.Reques
【网络爬虫-07】处理异常
qq_46060468的博客
02-06 236
前一节了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。 urllib 的 error 模块定义了由 request 模块产生的异常。如果出现了问题，request 模块便会抛出 error 模块中定义的异常。 1.URLError URLError 类来自 urllib 库的 error 模块，它继承自 OSError 类，是 error 异常模块的基类，由 request 模块.
学习python爬虫过程中整理的常见错误笔记
10-13
该excel文件是本人在学习使用python做爬虫过程中遇到的问题及解决办法、参考网站链接等信息【请忽略出现文件位置这列】。供交流学习使用。
python爬虫常见异常共1页.pdf.zip
10-30
python爬虫常见异常共1页.pdf.zip
Status Code：状态码
热门推荐
qq_38410428的博客
09-16 1万+
应状态码表示服务器的响应状态，如200代表服务器正常响应，404代表页面未找到，500代表服务器内部发生错误。在爬虫中，我们可以根据状态码来判断服务器响应状态，如状态码为200，则证明成功返回数据，再进行进一步的处理，否则直接忽略。 100 继续 请求者应当继续提出请求。服务器已收到请求的一部分，正在等待其余部分 101 切换协议 请求者已要求服务器切换协议，服务器已确认并准备切换 ...
【备忘】python爬虫之异常处理——HTTP 状态码
Hack修女のblog
11-20 309
HTTPError 是 URLError 的子类，服务器上每一个 HTTP 的响应都包含一个数字的“状态码”。 这些异常包括典型的：404（页面无法找到），403（请求禁止）和 401（验证请求）。 因为 Python 默认会自动帮你处理重定向方面的内容（状态码 300 ~ 399 范围），状态码 100 ~ 299 的范围是表示成功，所以你需要关注的是 400 ~ 599 这个范围的状态码（因...
Python爬虫之异常处理
偷吃了老鼠的土豆
11-12 387
处理异常 1. URLError URLEroor来自urllib库的error模块，它继承自OSError类，是error异常模块的基类，由request模块生成的异常可以通过捕获这个类来处理。 他的属性reason，可以返回错误的原因。 下面展示一个例子： from urllib import request,error try : response = request.urlopen('http://cuiqingcai.com/index.htm') except error.URLErr
[Python]网络爬虫（三）：异常的处理和HTTP状态码的分类
thewebcode
05-14 617
先来说一说HTTP的异常处理问题。 当urlopen不能够处理一个response时，产生urlError。 不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。 HTTPError是urlError的子类，通常在特定HTTP URLs中产生。1.URLError 通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况...
目前自己写爬虫遇到的一些报错
zz
12-25 269
错误1:list index out of range 原因：在用lxml和xpath对一个网站进行解析，在解析的时候出现错误-IndexError: list index out of range 是在中这个网站的html代码中有的标识为空，只要加上 try： ..... except： pass 错误机制跳过空值就行了 错误2：'utf-8' codec can't decode byte 0xd3 因为 原因是因为这里的0xd3,这是无法转换出来的
python爬虫常见报错_python爬虫：常见HTTPError异常
weixin_39849671的博客
11-28 795
我们学习Python的过程中总是遇到很多难题，最常见的比如IP限制，我们学会通过使用代理IP来解决，其他情况下也会存在很多异常或者麻烦，需要大家耐心学习，今天就讲解下常见的HTTPError异常。100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。101：转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade消息头中定义...
爬虫入门（五）抓取网页数据
qq_55796594的博客
07-17 1万+
前面已经实现了获取整个网页HTML的功能，并且在获取HTML的基础上，加上一些诸如：下载出错自动重试、用户代理、服务器代理、爬取深度、避免重爬、id遍历、链接遍历等进阶功能。而且在处理过程中也初步使用了正则表达式。 但是前面我们获取的HTML中的数据很多，其中大部分是我们不需要的。因此在本节中，我们要介绍对比三种抓取数据的方式，也可以叫选择器，并给出他们的性能对比，以供选择。 1.分析网页 在抓取一个网页之前的具体内容之前，我们首先应该分析一下网页的结构。网页的构成是一种标签化的结构语言编写的。这些标
python爬虫异常处理
最新发布
10-04
在Python爬虫开发中，异常处理是非常重要的一部分。通过合理的异常处理，我们可以更好地应对不可预见的情况，确保爬虫顺利运行。 常见的Python爬虫异常包括但不限于以下几种： 1. 网络连接异常：例如网络超时、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值