Python使用selenium访问网页完成登录——装饰器重试机制汇总

最新推荐文章于 2024-08-12 14:29:00 发布
最新推荐文章于 2024-08-12 14:29:00 发布
阅读量383 收藏 7
点赞数 5
分类专栏： Python Pandas 数据分析 文章标签： python selenium 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57021623/article/details/140702276
版权
Python 同时被 3 个专栏收录
115 篇文章 61 订阅
订阅专栏
数据分析
30 篇文章 4 订阅
订阅专栏
Pandas
27 篇文章 2 订阅
订阅专栏

文章目录

示例一:常见装饰器编写重试机制

示例代码

import time
import traceback
import logging
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 设置日志配置
logging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)

# 假设 DOME 是一个配置字典，用于控制 DEBUG 模式
DOME = {
    'DEBUG': False,
    'debug': False
}

def exr_func(*args, **kwargs):
    # 在每次重试前执行的操作，可以在此添加刷新页面等逻辑
    driver = kwargs.get('driver')
    if driver:
        driver.refresh()
        time.sleep(2)  # 等待页面刷新完成

def dec_retry(num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):
    """装饰器，重复执行func并忽略异常，超过次数抛出异常或返回空，此函数默认输出异常信息"""
    def decorator(func):
        def dec(*args, **kwargs):
            for i in range(1, num + 1):
                try:
                    return func(*args, **kwargs)
                except exclude as err:
                    raise err
                except catch as err:
                    logger.error(f'第 {i} 次执行失败')
                    if out_error:
                        logger.error(err, traceback.format_exc(), sep='\n')
                    if DOME.get('DEBUG') or DOME.get('debug'):
                        logger.error('已开启 DEBUG 模式，直接抛出异常')
                        raise err
                    if i >= num:
                        logger.error(f'已执行 {num} 次，抛出异常')
                        raise err
                    logger.error('开始重试')
                    exr(*args, **kwargs)

        return dec

    return decorator

@dec_retry(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):
    # 访问登录页面
    driver.get("https://example.com/login")

    # 等待页面加载完成
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))

    # 输入用户名
    username_field = driver.find_element(By.ID, "username")
    username_field.send_keys(username)

    # 输入密码
    password_field = driver.find_element(By.ID, "password")
    password_field.send_keys(password)

    # 点击登录按钮
    login_button = driver.find_element(By.ID, "loginButton")
    login_button.click()

    # 等待页面加载完成并检查是否登录成功
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))

    print("登录成功")
    return True

def main():
    # 设置WebDriver
    driver = webdriver.Chrome()

    username = "your_username"
    password = "your_password"

    try:
        login(driver, username, password, driver=driver)
    except Exception as e:
        logger.error(f"最终登录失败，异常: {e}")

    driver.quit()

if __name__ == "__main__":
    main()

代码解释

  1. 日志配置: 设置日志记录配置，用于输出错误信息。
  2. exr_func 函数: 定义了在每次重试前执行的操作，例如刷新页面。
  3. dec_retry 装饰器: 实现了重试机制，捕获指定异常，在重试次数用尽前会执行 exr_func 函数。
  4. login 函数: 实现具体的登录操作，并被 dec_retry 装饰器装饰。
  5. main 函数: 设置 WebDriver，尝试登录，并在失败时输出日志信息。

示例二：使用类实现装饰器

类装饰器可以更灵活地管理状态，并且可以更好地组织复杂的逻辑。

import time
import traceback
import logging
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 设置日志配置
logging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)

# 假设 DOME 是一个配置字典，用于控制 DEBUG 模式
DOME = {
    'DEBUG': False,
    'debug': False
}

def exr_func(*args, **kwargs):
    driver = kwargs.get('driver')
    if driver:
        driver.refresh()
        time.sleep(2)  # 等待页面刷新完成

class RetryDecorator:
    def __init__(self, num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):
        self.num = num
        self.exr = exr
        self.catch = catch
        self.exclude = exclude
        self.out_error = out_error

    def __call__(self, func):
        def wrapped_func(*args, **kwargs):
            for i in range(1, self.num + 1):
                try:
                    return func(*args, **kwargs)
                except self.exclude as err:
                    raise err
                except self.catch as err:
                    logger.error(f'第 {i} 次执行失败')
                    if self.out_error:
                        logger.error(err, traceback.format_exc(), sep='\n')
                    if DOME.get('DEBUG') or DOME.get('debug'):
                        logger.error('已开启 DEBUG 模式，直接抛出异常')
                        raise err
                    if i >= self.num:
                        logger.error(f'已执行 {self.num} 次，抛出异常')
                        raise err
                    logger.error('开始重试')
                    self.exr(*args, **kwargs)
        return wrapped_func

@RetryDecorator(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):
    driver.get("https://example.com/login")

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))

    username_field = driver.find_element(By.ID, "username")
    username_field.send_keys(username)

    password_field = driver.find_element(By.ID, "password")
    password_field.send_keys(password)

    login_button = driver.find_element(By.ID, "loginButton")
    login_button.click()

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))

    print("登录成功")
    return True

def main():
    driver = webdriver.Chrome()

    username = "your_username"
    password = "your_password"

    try:
        login(driver, username, password, driver=driver)
    except Exception as e:
        logger.error(f"最终登录失败，异常: {e}")

    driver.quit()

if __name__ == "__main__":
    main()

示例三：使用函数装饰器并返回闭包

使用闭包使代码更简洁。

import time
import traceback
import logging
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

logging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)

DOME = {
    'DEBUG': False,
    'debug': False
}

def exr_func(*args, **kwargs):
    driver = kwargs.get('driver')
    if driver:
        driver.refresh()
        time.sleep(2)

def dec_retry(num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):
    def decorator(func):
        def wrapped_func(*args, **kwargs):
            for i in range(1, num + 1):
                try:
                    return func(*args, **kwargs)
                except exclude as err:
                    raise err
                except catch as err:
                    logger.error(f'第 {i} 次执行失败')
                    if out_error:
                        logger.error(err, traceback.format_exc(), sep='\n')
                    if DOME.get('DEBUG') or DOME.get('debug'):
                        logger.error('已开启 DEBUG 模式，直接抛出异常')
                        raise err
                    if i >= num:
                        logger.error(f'已执行 {num} 次，抛出异常')
                        raise err
                    logger.error('开始重试')
                    exr(*args, **kwargs)
        return wrapped_func
    return decorator

@dec_retry(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):
    driver.get("https://example.com/login")

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))

    username_field = driver.find_element(By.ID, "username")
    username_field.send_keys(username)

    password_field = driver.find_element(By.ID, "password")
    password_field.send_keys(password)

    login_button = driver.find_element(By.ID, "loginButton")
    login_button.click()

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))

    print("登录成功")
    return True

def main():
    driver = webdriver.Chrome()

    username = "your_username"
    password = "your_password"

    try:
        login(driver, username, password, driver=driver)
    except Exception as e:
        logger.error(f"最终登录失败，异常: {e}")

    driver.quit()

if __name__ == "__main__":
    main()

示例四：使用 wrapt 模块

wrapt 是一个强大的装饰器库，可以更轻松地编写装饰器，特别是处理复杂逻辑时。

import time
import traceback
import logging
import wrapt
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

logging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)

DOME = {
    'DEBUG': False,
    'debug': False
}

def exr_func(*args, **kwargs):
    driver = kwargs.get('driver')
    if driver:
        driver.refresh()
        time.sleep(2)

def dec_retry(num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):
    @wrapt.decorator
    def wrapper(wrapped, instance, args, kwargs):
        for i in range(1, num + 1):
            try:
                return wrapped(*args, **kwargs)
            except exclude as err:
                raise err
            except catch as err:
                logger.error(f'第 {i} 次执行失败')
                if out_error:
                    logger.error(err, traceback.format_exc(), sep='\n')
                if DOME.get('DEBUG') or DOME.get('debug'):
                    logger.error('已开启 DEBUG 模式，直接抛出异常')
                    raise err
                if i >= num:
                    logger.error(f'已执行 {num} 次，抛出异常')
                    raise err
                logger.error('开始重试')
                exr(*args, **kwargs)
    return wrapper

@dec_retry(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):
    driver.get("https://example.com/login")

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))

    username_field = driver.find_element(By.ID, "username")
    username_field.send_keys(username)

    password_field = driver.find_element(By.ID, "password")
    password_field.send_keys(password)

    login_button = driver.find_element(By.ID, "loginButton")
    login_button.click()

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))

    print("登录成功")
    return True

def main():
    driver = webdriver.Chrome()

    username = "your_username"
    password = "your_password"

    try:
        login(driver, username, password, driver=driver)
    except Exception as e:
        logger.error(f"最终登录失败，异常: {e}")

    driver.quit()

if __name__ == "__main__":
    main()
今晚务必早点睡
关注
专栏目录
Python 接口并发测试详解
悦分享
10-23 7078
性能测试是通过自动化测试工具模拟多种正常、峰值及异常负载条件对系统的各项性能指标进行的测试。负载测试和压力测试都属于性能测试，两者可以结合进行。通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大服务级别的测试。性能测试的重点是测试在并发条件下服务或系统的瓶颈所在，从而优化相关功能，可能涉及软件及硬件的多方面改进。由此可见，性能测试对整个产品非常重要，甚至可以决定一个产品是否能长久发
最全python爬虫面试笔试题及答案汇总，三万多字，持续更新，适合新手，应届生
热门推荐
u012424313的博客
07-03 1万+
目录 一些经典的Python爬虫和网络编程面试题... 1 1、动态加载又对及时性要求很高怎么处理？... 1 2、分布式爬虫主要解决什么问题？... 1 3、什么是 URL？... 1 4、python 爬虫有哪些常用技术？... 1 5、简单说一下你对 scrapy 的了解？... 1 6、Scrapy 的优缺点?. 1 7、scrapy 和 request?. 1 8、五层...
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
12-25
应用场景： 状态不是200的URL重试多次 代码比较简单还有部分注释 python2.7实现： # -*-coding:utf-8-*- """ ayou """ import requests def url_retry(url,num_retries=3): print("access!") try: request = requests.get(url,timeout=60) #raise_for_status(),如果不是200会抛出HTTPError错误 request.raise_for_status() html = request.content exc
【进阶】Python使用selenium 访问网页完成登录操作页面异常时——最全重试机制汇总
m0_57021623的博客
07-25 764
代码解释异常处理通过这种方式，可以更全面地处理登录过程中可能遇到的异常，并实现自动重试机制，提高登录操作的成功率和稳定性。使用装饰器可以使代码更加简洁和模块化： 思路三：使用更复杂的异常处理和恢复机制 在捕获异常时，可以尝试恢复或刷新页面，然后再重试登录操作： 思路四：结合日志记录与重试 可以加入日志记录机制，在每次重试时记录详细信息，便于后续排查问题： 思路五：使用递归实现重试机制 使用递归调用函数来实现重试机制，这种方法可以使代码更加简洁： 思路六：结合外部配置文件管理重试参数 将重试次数等参数放到配置
selenium登录网页
weixin_44185953的博客
01-11 912
如何使用selenium登录 现在开始码代码 from selenium import webdriver from lxml import etree import time url="https://www.douban.com/" # driver=webdriver.PhantomJS(executable_path=r'D:\ysc桌面\Desktop\phantomjs-2.1.1-...
python selenium cookie登录
AnYeZhiYin
05-10 788
先登录进去 到需要的页面 然后获取cookie cookie = browser.get_cookies() # 现在获取到的cookie 是一个列表 cookie = cookie[0] #现在得到列表里面的cookie 是一个定典这个就可以直接用了 browser.add_cookie(cookie[0]) #添加了cookie 就可以访问我们登录后才能看到的页面了 browser.g...
python+selenium实现登录
weixin_48120964的博客
02-01 1998
python，selenium学习
PYTHON UI自动化，selenium第一节，登录
最新发布
weixin_62234706的博客
08-12 993
PYTHON UI自动化，selenium第一节，登录
python+selenium实现登录功能
Sudahoney的博客
11-24 1万+
fddfd python+selenium实现登录功能 环境搭建 安装python（python3.7.2） 测试是否安装成功： python --version 2. 安装selenium （pip install selenium） 3. 安装chorm driver ①. 打开谷歌浏览器， 在地址栏输入 chrome://version/ 查看版本信息 我的版本信息为： ②. 选择...
python语言实例-Python代码样例列表
weixin_37988176的博客
11-01 3705
├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ python lambda实现求素数的简短代码.py│ Python localtime()方法计算今天是一...
python代码示例-Python代码样例列表
q6q6q的专栏
10-28 4139
├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ python lambda实现求素数的简短代码.py│ Python localtime()方法计算今天是一...
Python爬虫教程:Selenium模拟登录
bagell的博客
12-21 1万+
总结一下，使用Selenium模拟登录是一种强大而灵活的方式，可以帮助开发人员实现各种登录功能。通过使用浏览器驱动程序，访问登录页面，输入凭据并模拟点击登录按钮，我们可以轻松地模拟用户的登录行为。通过XPath等多种元素匹配方法，我们可以轻松地定位并操作网页上的元素。此外，还可以通过获取和保存Cookies保持登录状态，以便在后续的访问中保持身份识别。Python爬虫教程:入门爬取网页数据随着各大网站的反爬机制越来越强大，对于爬虫工程师来说，也是一个不小的挑战。
Python爬虫10-Selenium模拟登录
qq_45112156的博客
09-14 3257
对于采用异步加载技术的网页，有时候通过逆向工程来构造爬虫是比较困难的。想用Python获取异步加载返回的数据，可以使用Selenium模块模拟浏览器。 10.1Selenium和Phantomjs 10.1.1Selenium的概念和安装 Selenium是一个用于web应用程序测试的工具，它直接运行在浏览器中，就像真实的用户在操作一样。由于这个性质，Selenium也是一个强大的网络数据采集工具，它可以让浏览器自动加载页面，这样使用了异步加载技术的网页，也可获取其需要...
python通过selenium实现自动登录及轻松过滑块验证、点选验证码（2024-06-14）
byc6352的专栏
06-14 3990
python通过selenium实现自动登录及轻松过滑块验证、点选验证码（2024-06-14）
Python学习笔记--使用selenium登录页面
jinjin_gogo_fighting的博客
05-28 1069
这里写自定义目录标题Python学习笔记--ssh登录Linux设备（root、切换root）报错ssh连接失败编写成功的代码 Python学习笔记–ssh登录Linux设备（root、切换root） 实现ssh登录Linux设备，root直接登录或其他用户登录后切换root，然后执行一些类似查看进程、CPU操作指令。 报错ssh连接失败 1、报错：paramiko.ssh_exception.SSHException: Incompatible ssh peer (no acceptable kex al
Python之selenium，使用webdriver模拟登录网站（含验证码）
m0_58026506的博客
06-25 3188
前段时间做了一个小项目，其中有一段需要自动获取网站后台的数据，但是这个网站没有任何提供给开发者的API，所以只能靠自己去探索。起初想着用发送请求的方式去模拟登陆，获取cookies，从而再获取网站后台数据，但是因为自己太菜了一些原因，放弃了这个方法。后来想到使用webdriver调用浏览器来模拟登陆，发现操作起来简单很多，而且可以达到同样的效果，于是便有了这篇文章。
selenium + python自动化登录
z113145的博客
03-30 188
selenium + python自动化登录 实现一个小案例：自动化登录python实训在线 直接上代码： from selenium.webdriver.common.action_chains import ActionChains from selenium import webdriver from time import sleep driver = webdriver.Firefox()#这里使用火狐驱动geckodriver.log driver.get("https://www.shixu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

今晚务必早点睡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值