Python库之selenium的高级用法深度解析

于 2024-05-23 09:40:07 发布
阅读量1.6k 收藏 33
点赞数 37
分类专栏： Python Python爬虫必学必会库详细讲解 爬虫 文章标签： python selenium 开发语言 爬虫 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shadowtalon/article/details/139136805
版权

Python库之selenium的高级用法深度解析

引言

Selenium是一个用于自动化Web应用程序测试的工具，它支持多种浏览器自动化，使得测试工作变得更加高效和自动化。Selenium WebDriver API可以模拟用户对浏览器的各种操作，包括点击、输入、滚动等。本文将深入探讨Selenium的高级用法，帮助读者更深入地理解和应用这一强大的工具。

目录

  1. 引言
  2. 环境搭建与配置
    • 浏览器驱动安装
    • Selenium与浏览器兼容性
  3. 基础概念
    • WebDriver
    • WebElement
    • 元素定位方法
  4. 高级定位技术
    • XPath高级定位
    • CSS选择器高级技巧
    • 链接文本和部分属性定位
  5. 动态内容处理
    • 动态加载数据的处理
    • 使用Selenium处理Ajax
  6. 等待机制
    • 显式等待
    • 隐式等待
    • 框架和窗口的等待
  7. 浏览器自动化操作
    • 浏览器设置与配置
    • 浏览器插件的使用
    • 浏览器性能测试
  8. 测试脚本优化
    • 页面对象模型（Page Object Model）
    • 测试数据驱动
    • 异常处理和日志记录
  9. 测试结果输出
    • 测试报告生成
    • 截图和视频记录
  10. Selenium Grid
    • 分布式测试
    • Selenium Grid配置
  11. 与CI/CD集成
    • 持续集成概述
    • Selenium与Jenkins集成
  12. 移动设备测试
    • 移动Web测试
    • Appium与Selenium的结合使用
  13. 浏览器开发工具集成
    • Chrome DevTools Protocol
    • Firefox的Remote Protocol
  14. 高级测试策略
    • BDD（行为驱动开发）
    • TDD（测试驱动开发）
  15. Selenium的替代方案和补充工具
    • Puppeteer
    • Playwright
  16. 结语
  17. 参考文献

环境搭建与配置

浏览器驱动安装

在使用Selenium之前，需要确保安装了相应浏览器的WebDriver。WebDriver是Selenium与浏览器之间的桥梁，负责传递命令和接收响应。

  • 对于Chrome，需要下载ChromeDriver。
  • 对于Firefox，需要下载GeckoDriver。
  • 对于Edge，需要下载Microsoft WebDriver。
  • 对于Safari，SafariDriver已经集成在Safari中。

下载后，将WebDriver的路径添加到系统环境变量中，或在代码中直接指定路径。

from selenium import webdriver

# 指定ChromeDriver路径
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

Selenium与浏览器兼容性

Selenium支持多种浏览器，包括Chrome、Firefox、Edge、Safari等。在使用Selenium时，需要确保WebDriver版本与浏览器版本兼容。

基础概念

WebDriver

WebDriver是Selenium的核心，它提供了一个简单的方式来控制浏览器。通过WebDriver，可以启动浏览器、导航到URL、查找页面元素等。

WebElement

WebElement是页面上的一个元素，如按钮、输入框、链接等。通过WebDriver，可以获取WebElement，并对其进行操作，如点击、输入文本等。

元素定位方法

Selenium提供了多种元素定位方法，包括：

  • find_element_by_id()
  • find_element_by_name()
  • find_element_by_class_name()
  • find_element_by_tag_name()
  • find_element_by_css_selector()
  • find_element_by_xpath()

高级定位技术

XPath高级定位

XPath是一种用于在XML文档中定位节点的语言，也可以用于HTML文档。Selenium支持XPath定位，可以用于更复杂的元素查找。

element = driver.find_element_by_xpath("//input[@type='submit']")

CSS选择器高级技巧

CSS选择器是另一种强大的元素定位方法，它允许使用CSS样式规则来查找元素。

element = driver.find_element_by_css_selector("input[type='submit']")

链接文本和部分属性定位

有时候，元素的ID或名称不明显，但可以通过链接文本或部分属性来定位。

element = driver.find_element_by_link_text("Sign In")
element = driver.find_element_by_partial_link_text("Login")

动态内容处理

动态加载数据的处理

现代Web应用常常使用Ajax技术异步加载数据。在这种情况下，页面的元素可能不会立即加载完成。Selenium提供了等待机制来处理动态加载的内容。

使用Selenium处理Ajax

通过显式等待和WebDriverWait，可以等待Ajax请求完成，然后再进行后续操作。

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "ajax-element"))
)

等待机制

显式等待

显式等待允许你明确地等待某个条件成立后再继续执行。

wait = WebDriverWait(driver, 20)
wait.until(EC.element_to_be_clickable((By.ID, "myButton")))

隐式等待

隐式等待设置了一个全局的等待时间，Selenium会在查找元素时最多等待这个时间。

driver.implicitly_wait(10)  # 等待最多10秒

框架和窗口的等待

当页面包含多个iframe或需要在多个窗口之间切换时，需要等待iframe加载完成或窗口就绪。

driver.switch_to.frame("myFrame")
# 或者
driver.switch_to.window("myWindow")

浏览器自动化操作

浏览器设置与配置

Selenium允许在启动浏览器时设置一些选项，如最大化窗口、使用代理等。

from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--start-maximized")
driver = webdriver.Chrome(executable_path='/path/to/chromedriver', options=options)

浏览器插件的使用

有时候，测试需要使用浏览器插件，如登录插件、广告拦截插件等。Selenium支持添加和配置浏览器插件。

浏览器性能测试

Selenium可以用于浏览器性能测试，通过自动化操作来测试页面加载时间、CPU和内存使用情况等。

测试脚本优化

页面对象模型（Page Object Model）

页面对象模型是一种设计模式，它将页面的元素和操作封装成对象，使得测试脚本更加清晰和易于维护。

测试数据驱动

通过外部数据源（如Excel、CSV、数据库）来驱动测试，可以提高测试的灵活性和可复用性。

异常处理和日志记录

在测试脚本中添加异常处理和日志记录，可以更好地监控测试过程和调试问题。

测试结果输出

测试报告生成

Selenium可以集成报告生成工具，如Allure、ExtentReports等，来生成详细的测试报告。

截图和视频记录

在测试过程中，可以自动截图和录制视频，以便于分析问题和演示测试结果。

Selenium Grid

分布式测试

Selenium Grid允许在多台机器上并行运行测试，大大提高了测试的效率。

Selenium Grid配置

配置Selenium Grid需要设置Hub和Node，Hub负责分发测试任务，Node负责执行测试。

与CI/CD集成

持续集成概述

持续集成（CI）是一种软件开发实践，通过自动化构建和测试来确保代码的质量。

Selenium与Jenkins集成

Jenkins是一个流行的CI工具，可以与Selenium集成，实现自动化测试。

移动设备测试

移动Web测试

Selenium也可以用于移动Web应用的测试，通过设置适当的WebDriver选项来模拟移动设备。

Appium与Selenium的结合使用

Appium是一个移动应用自动化测试工具，可以与Selenium结合使用，进行更全面的移动测试。

浏览器开发工具集成

Chrome DevTools Protocol

Chrome提供了DevTools Protocol，Selenium可以通过这个协议与Chrome的开发者工具集成。

Firefox的Remote Protocol

Firefox也提供了类似的Remote Protocol，Selenium可以利用这个协议与Firefox的开发者工具集成。

高级测试策略

BDD（行为驱动开发）

行为驱动开发（BDD）是一种敏捷软件开发技术，通过定义行为来驱动开发和测试。

TDD（测试驱动开发）

测试驱动开发（TDD）是一种软件开发方法，先编写测试用例，再编写满足测试的代码。

Selenium的替代方案和补充工具

Puppeteer

Puppeteer是一个Node库，提供了高级的浏览器自动化功能。

Playwright

Playwright是一个跨语言的Web自动化库，支持Chromium、Firefox和WebKit，提供了比Selenium更现代的API和功能。

Puppeteer和Playwright的对比

  • 性能：两者都提供了快速的运行性能，但Playwright强调其能够在所有浏览器上提供一致的性能。
  • API设计：Puppeteer的API更倾向于Node.js的风格，而Playwright提供了跨语言的API，包括Python。
  • 功能：Playwright支持更多的浏览器和平台，包括移动端浏览器的自动化。

结语

Selenium作为一个成熟的自动化测试工具，其强大的功能和灵活性使其在自动化Web测试领域占据重要地位。随着Web技术的不断发展，Selenium也在不断更新和改进，以适应新的测试需求。同时，新的工具如Puppeteer和Playwright也在为用户提供更多的选择。无论选择哪种工具，自动化测试的核心目标——提高软件质量、减少重复工作、加快测试速度——是不变的。

参考文献

  1. Selenium官方文档：https://www.selenium.dev/documentation/en/
  2. WebDriver协议：https://w3c.github.io/webdriver/
  3. Puppeteer官方文档：https://pptr.dev/
  4. Playwright官方文档：https://playwright.dev/
  5. GitHub - SeleniumHQ/selenium: https://github.com/SeleniumHQ/selenium
shadowtalon
关注
专栏目录
Python GUI测试实战：Selenium与PyQt的联合应用
mrdeam的博客
07-08 1206
本文介绍了在Python中进行GUI测试的两种常用工具：Selenium和PyQt，并展示了它们在实际应用中的用法。首先，我们讨论了Selenium，它是一个用于自动化测试的工具，主要用于对Web应用程序进行测试。我们展示了如何使用Selenium打开网页、输入文本、点击按钮等，并验证搜索结果页面的标题是否包含特定关键字。其次，我们介绍了PyQt，它是Python中最流行的GUI工具包之一，基于Qt框架开发。我们展示了如何使用PyQt创建简单的GUI窗口，并在其中放置按钮，当按钮被点击时改变其文本。
使用Python Selenium，动态网页不再是难题！
最新发布
xyh2004的博客
06-24 1240
在Python Selenium自动化测试与网页操作中，直接执行JavaScript代码是一项强大功能 ，它能够帮助我们实现浏览器端的复杂操作与数据获取。本章将深入探讨如何利用Selenium的execute_script方法执行JavaScript，从基础到进阶，确保你的自动化任务更加灵活高效。
selenium高级用法
weixin_59246157的博客
04-21 282
在自动化测试中，经常需要等待某个元素出现或者某个操作完成后再执行下一步操作。有些操作会弹出新的浏览器窗口或者警告框，Selenium提供了`switch_to`方法来处理这些弹出窗口。其中，`window_handles`属性返回当前所有窗口的句柄，`switch_to.window()`方法可以切换到指定窗口。其中，`move_to_element()`方法将鼠标移动到指定元素上，`perform()`方法执行鼠标动作。其中，`execute_script()`方法可以执行JavaScript代码。
简单的聊聊自动化测试：Selenium的高级操作
weixin_54556126的博客
03-10 1363
　Selenium-Switch_to 　　switch_to适用场景： 　　● 处理JS弹框 　　● 切换frame 　　● 切换浏览器窗口　　 　　Switch_to处理JS弹框 　　JavaScript简称JS，应用于HTML网页，通过操纵网页窗口及网页元素，从而实现动态效果。 　　▲ JS弹框类型：警告框alert、确认框confirm、提示框prompt　　 　　浏览器窗口中如果有JavaScript的弹出框，需要通过switch_to语句处理。 　Switch_to切换
Selenium 高级应用
My space
02-09 2544
 对于这一段还蛮有感慨的，只想说，代码还是需要自己去敲的。 1. 改变用户代理 import org.junit.AfterClass; import org.junit.BeforeClass; import org.junit.Test; import org.openqa.selenium.WebDriver; import org.openqa.selenium.firefox.
Selenium的高级应用
wsfw014的专栏
03-02 817
Selenium的高级应用
Selenium高级应用
研究方向：机器学习、深度学习、AIOT
03-31 378
它可以模拟不同的浏览器行为，包括不同的用户代理、cookie、JavaScript 的执行等等。⭐️现在大多数的网页都使用了Ajax技术，即不能确定何时某个元素能被完全加载，如果实际页面响应时间过长，导致某个页面元素还没出来，就被代码引用，抛出NullPointer异常。当出发了某个事件之后，页面出现了弹窗提示，处理这个提示或者获取提示信息，可以用浏览器对象的switch_to_alert()方法，例。⭐️以上代码设置隐式等待的时间为10s，如果不设置，则使用默认的时间为0s，也就是不等待。
基于python requests selenium爬取excel vba过程解析
08-18
基于python requests selenium爬取excel vba过程解析是一种高效的数据爬取方法，该方法通过使用python的requests和selenium库来爬取excel vba过程解析的数据。这种方法可以爬取官方文档中的数据，并将其存储到本地，...
Selenium WebDriver API深度解析
Selenium WebDriver是Selenium项目家族中的一个关键组件，是一种用于自动化Web应用程序测试的工具。它支持各种浏览器，并通过与浏览器交互来执行测试步骤。 ## 1.2 Selenium WebDriver的历史 Selenium WebDriver...
Python_Lib:使用 Python 库的代码记录
04-29
6. **TensorFlow** 和 **Keras**：这两个库用于深度学习，TensorFlow是Google开发的开源平台，用于构建和部署机器学习模型，而Keras是一个高级神经网络API，可在TensorFlow之上提供简单易用的接口。 7. **Requests*...
selenium高级自动化（图文教程）-抢先版
12-05
selenium高级自动化（图文教程）-抢先版
淘宝、京东、拼多多商品店铺基础信息爬虫 Selenium+Python技术栈.zip
03-02
这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本...
Selenium 高级点儿的技能都有啥？？？
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-17 1万+
滑动验证码不要着急，Selenium 来帮你~
Python+selenium总结（七）—多标签/多窗口之间的切换，多表单/多框架切换
weixin_36410810的博客
09-05 1063
1.多标签/多窗口之间的切换 场景:有的时候点击一个链接，新页面并非由当前页面跳转过去，而是新开一个页面打开，这种情况下，计算机需要识别多标签或窗口的情况。 1)获取所有窗口的句柄 handles = driver.window_handlers 调用该方法会得到一个列表，在selenium运行过程中的每一个窗口都有一个对应的值存放在里面。 2)通过窗口的句柄进入的窗口...
selenium API高级
ByeBye(野蛮生长)
08-17 392
1.多标签/多窗口之间的切换 场景:有的时候点击一个链接，新页面并非由当前页面跳转过去，而是新开一个页面打开，这种情况下，计算机需要识别多标签或窗口的情况。 2.多表单/多框架切换 在网页中，表单嵌套是很常见的情况，尤其是在登录的场景 (1)什么是多表单？ 实际上就是使用iframe/frame，引用了其他页面的链接，真正的页面数据并没有出现在当前源码中，但是在浏览器中我们看到，简单链接可以使页...
Selenium高级主题(selenium-advance-operation)
极客神殿
10-06 429
Selenium的页面导航、元素定位等基本操作能够帮助我们完成自动化爬虫任务中80%的工作。如果你只是为了简单地完成自动化爬虫功能的实现，那么下面的内容你不需要阅读；如果你希望你写的爬虫程序的运行效率更高，你想要学习一些selenium代码实现技巧，强烈推荐您阅读一下，这部分内容会带你走进一个不一样的世界，你会发现：原来自动化爬虫的代码还能这样写？是的，这部分内容能够让你的代码实现更具魅力。 该高级主题涉及的知识点有： 延时加载Dom元素：学会如何处理页面中元素的异步加载。 行为链ActionChain：
selenium高级操作
冷巷(✘_✘)的博客
02-12 8724
无界面模式 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('--headless') driver = webdriver.Chrome(options=options) driver.get('https://www.baidu.com/') 执行js代码，把页面拉到底部 driver.execute_script( 'window.scrollTo(0,
Python Selenium：Xpath与CSS定位深度解析与实战应用
本文档深入探讨了Python Selenium库中Xpath和CSS选择器在元素定位中的应用与比较。XPath是一种基于XML和HTML文档结构的语言，用于在DOM树中查找节点，而CSS选择器则更侧重于通过标签名、类名、ID以及其他CSS属性进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值