python爬虫超时重试_Python爬虫实例（三）：错误重试，超时处理

最新推荐文章于 2024-07-16 20:34:24 发布
最新推荐文章于 2024-07-16 20:34:24 发布
阅读量1.1k 收藏 5
点赞数 1
文章标签： python爬虫超时重试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39964528/article/details/111985010
版权
本文介绍了Python爬虫中错误重试的@retry()装饰器使用，包括参数设置，如最大尝试次数、超时处理等。同时讨论了如何结合requests库设置超时参数，并展示了如何通过自定义装饰器实现超时处理。最后，提到在捕捉异常时避免使用过于宽泛的异常处理方式。
摘要由CSDN通过智能技术生成

错误重试

错误重试用到的方法之一是：@retry()装饰器html

装饰器实际是一个python函数，它的做用就是为被装饰的函数(或对象)进行装饰、包装，可让被装饰的函数(或对象)在不须要作任何代码改动的状况下增长一些额外的功能，即被装饰函数(对象)的加强版。python

安装

pipenv install retrying微信

应用语法

from retrying import retry

# @retry((指定重试的错误类型), 参数设置)，例如

@retry((ValueError, TypeError), stop_max_attempt_number=5)

def func_name():

XXX

func_name()

经常使用的参数有：网络

一、stop_max_attempt_number：在中止以前尝试的最大次数，最后一次若是仍是有异常则会抛出异常，中止运行，默认为5次dom

二、stop_max_delay：好比设置成10000，那么从被装饰的函数开始执行的时间点开始，到函数成功运行结束或者失败报错停止的时间点，只要这段时间超过10秒，则中止重试(单位是毫秒)函数

三、wait_fixed：设置在两次retrying之间的停留时间，单位毫秒post

四、wait_random_min和wait_random_max：用随机的方式产生两次retrying之间的停留时间。wait_random_min停留最短期，默认为0，单位毫秒。wait_random_max停留最长时间，默

最低0.47元/天 解锁文章
weixin_39964528
关注
python爬虫超时重试_python爬虫URL重试机制实现(python2.7以及python3.5)
weixin_31983133的博客
01-11 445
应用场景：状态不是200的URL重试多次代码比较简单还有部分注释python2.7实现：# -*-coding:utf-8-*-"""ayou"""import requestsdef url_retry(url,num_retries=3):print("access!")try:request = requests.get(url,timeout=60)#raise_for_status(),...
爬虫 访问 重试
张昆
03-31 781
不知道为啥，以前一直好好的，现在访问链接经常报错，所以加了错误重试 # coding:utf-8 import requests import http.cookiejar import re import sys import smtplib import time from email.mime.text import MIMEText retries1=30 _to = "xxxx
爬虫代理访问超时怎么解决？
最新发布
qq_34623639的博客
07-16 1024
在选择适合爬取的代理时，还可以考虑一些额外的因素，比如代理服务器的可扩展性、用户评论和口碑、用户界面友好性等。综合考虑这些因素，选择适合爬取的代理可以提高爬取的效率和成功率，保证数据的准确性和稳定性。
Python爬虫之异常重试的解决方案详解
Jonny
06-28 9063
大家在做数据抓取的时候，经常遇到由于网络问题导致的程序保存，先前只是记录了错误内容，并对错误内容进行后期处理。原先的流程：def crawl_page(url): pass def log_error(url): pass url = "" try: crawl_page(url) except: log_error(url)?改进后的流程：attempts = 0 success...
Python爬虫实例（三）：错误重试，超时处理的解决方法
199铱
02-05 8227
错误重试 错误重试用到的方法之一是：@retry()装饰器 装饰器实际是一个python函数，它的作用就是为被装饰的函数（或对象）进行装饰、包装，可以让被装饰的函数（或对象）在不需要做任何代码改动的情况下增加一些额外的功能，即被装饰函数（对象）的增强版。 安装 pipenv install retrying 应用语法 from retrying import retry # @re...
Python 中的 retrying 库
既然选择远方，便只顾风雨兼程！
03-26 4958
文章目录retrying 模块一、 简介二、 使用方法1、 无参数2、 有参数2.1 stop_max_attempt_number2.2 stop_max_delay2.3 wait_fixed2.4 wait_random_[min/max]2.5 wait_exponential_[multiplier/max]2.6 其他可用参数 retrying 模块 一、 简介 retrying是一个python的重试包，可以用来自动重试一些可能运行失败的程序段，retrying提供一个装饰器函数retry，被
python爬虫超时的处理的实例
09-19
本篇文章将详细讲解如何处理Python爬虫中的超时问题，并提供一个具体的实例来帮助理解。 首先，我们需要了解Python中的超时机制。当使用`urllib2`或者`requests`库进行HTTP请求时，如果没有设置超时参数，Python会...
python爬虫处理滑块验证_python爬虫基础（9：验证识别之滑块验证）
weixin_35867979的博客
02-10 5323
上篇我们借助 tesserocr 库解决了图片码的识别验证，但在实际生活中，用得更多的是滑动验证，这篇就来解决滑动验证的问题滑动验证大部分网站都采用的是滑动验证，就是拖动滑块拼接图片，其中又大都采用极验(http://www.geetest.com/)所提供的技术，官方网页如下本篇案例选用哔哩哔哩动画验证登录(https://passport.bilibili.com/login)所需工具chro...
python 爬虫代码运行慢_python爬虫怎么处理异常和超时？
weixin_39643189的博客
12-09 875
该楼层疑似违规已被系统折叠隐藏此楼查看此楼写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升、代理IP超时、程序异常等等，处理好这些问题，才能保证爬虫程序持续地运行下去。一、反爬虫策略。这里不多说，之前有讨论过，可以参考之前的文章《爬虫如何有效突破网站的反爬机制？》。二、超时设置。网络总是不会一如既往的稳定如一，可能代理IP某个时间不稳定，也可...
Python重试模块retrying
m0_59485658的博客
02-01 702
工作中经常碰到的问题就是，某个方法出现了异常，重试几次。比如爬虫中的获取代理，对获取失败的情况进行重试。retrying提供一个装饰器函数retry，被装饰的函数会在运行失败的情况下重新执行，默认一直报错就一直重试。捕获异常，并通过一个计数器判断获取代理的次数，获取失败递归调用自己，直到达到最大次数为止。刚开始搜的几个博客讲的有点问题，建议看官方文档，还有自己动手实验。指定一个函数，函数返回指定异常，会重试，不是异常会退出。当时自己测试的时候网上一大堆抄来抄去的，意思是。则运行指定的重试次数后，抛出异常，
python爬虫超时自动重新执行，推荐使用神器@retry(）
poluc的博客
10-08 1399
在python爬虫工作的过程中，经常会因为各种原因出现请求超时，以前都是用传统的try和except方法，在超时时抛出异常结束整个程序，然后再重新启动。当然也可以使用增加判断的方式来重新执行，但是作为一名怀有远大志向的新手，无法忍受代码如此不简洁、不优雅。在遭遇请求超时，再自动尝试10次，每次间隔时间在1~2秒之间，大功告成！整个方法只能告诉我们遇到了什么问题，却没能根本上解决问题。给请求函数上戴个帽子，注销掉无用的try。然后就找到了retry库。需要安装，但真的好用。
python中retrying的使用
热门推荐
badly的博客
04-18 1万+
循环、重复调用一个方法其实在很多时候都要用到，比如支付，当回调接口有问题时会重复回调，比如集群中主从节点，他们会使用心跳来保证是否宕机等等，在python中有一个retrying模块，提供了重复循环调用的方法和装饰器首先我们需要手动安装retrying模块pip install retrying使用pycharm的自然知道在哪安装吧？附一张图安装完之后我们可以看一下retrying.py文件这里面...
Python失败重试机制
qq_41891186的博客
03-10 591
import unittest from time import sleep from retrying import retry from selenium import webdriver class TestRetry(unittest.TestCase): def setUp(self) -> None: self.driver = webdriver...
Python爬虫错误重试，超时处理
DN_XIAOXIAO的博客
04-15 757
错误重试用到的方法之一是：@retry()装饰器 装饰器实际是一个python函数，它的作用就是为被装饰的函数（或对象）进行装饰、包装，可以让被装饰的函数（或对象）在不需要做任何代码改动的情况下增加一些额外的功能，即被装饰函数（对象）的增强版。 安装 pipenv install retrying ———————————————— 版权声明：本文为CSDN博主「linzhjbtx」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.c.
爬虫遇到线程假死。如何重复请求
何加焉的博客
05-05 1439
NETWORK_STATUS = True # 判断状态变量 try: req = s.get(test_url, headers=header,timeout=(3,7)) if req.status_code == 200: req=req ...
python爬虫解决timed out 的几种方法
qq_40138248的博客
12-10 1万+
python爬虫解决timed out 的几种方法 在请求量比较大，目标网站承重量有限的情况下可能会出现下面这种报错： Max retries exceeded with url : … Connection to www.xxxx timed out 一开始想着增加timeout的大小，但后来发现这样不仅降低了爬取速度，而且并不能有效的解决这种问题，后来在看了看别人...
set_max_delay
msrgr的专栏
11-29 1万+
现在我遇到一个问题，就是两个时钟周期之间相差太多，超出了扩展限制，也就是TIM-276这个错误，路径就不能被约束了。现在的解决办法是使用set_max_delay 和set_min_delay来约束，但是这个延迟的值具体怎么计算，  set_output_delay为负值表示留的margin更大，对于hold更悲观； 对于setup更乐观。   我觉得如果是top level的话直接设一个s...
python爬虫URL重试机制实现(python2.7以及python3.5)
阿友的专栏
01-09 8317
应用场景： 状态不是200的URL重试多次 代码比较简单还有部分注释 python2.7实现： # -*-coding:utf-8-*- """ ayou """ import requests def url_retry(url,num_retries=3): print(3) try: request = requests.get
Python爬虫基础：urllib模块全面解析与实例
本文档详细介绍了Python爬虫开发中urllib模块的使用方法和实例，对于理解和掌握爬虫基础至关重要。urllib是Python的标准库，包含在所有Python版本中，无需额外安装。它提供了丰富的功能，支持网页请求、URL解析、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值