第八章 selenium的使用

已于 2023-12-02 19:00:41 修改
阅读量88 收藏
点赞数
分类专栏： 爬虫 文章标签： selenium 测试工具
于 2023-12-01 00:37:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49806206/article/details/134679776
版权
本文详细介绍了Selenium库在Python中的应用，包括浏览器操作（如打开、最大化、定位元素、输入、JS执行、窗口切换、截图等），以及验证码识别和无头模式的使用，同时涵盖了等待策略和事件链操作技巧。
摘要由CSDN通过智能技术生成

文章目录

1. 前期准备

1. selenium包下载

pip install selenium -i  https://pypi.tuna.tsinghua.edu.cn/simple

2. 驱动程序

安装驱动：https://registry.npmmirror.com/binary.html?path=chromedriver/

  1. 根据浏览器版本下载浏览器驱动
  2. 将驱动放到python的目录中python.exe同级目录下

2. selenium的功能

1. selenium打开浏览器

from selenium.webdriver import Chrome

web = Chrome()
#打开浏览器
web.get(url='https://www.baidu.com')
# 窗口最大化
web.maximize_window()

2. python定位界面元素

  1. id定位
  2. name定位
  3. class_name定位（使用元素的class属性）
  4. tag_name定位（标签名称<标签名…/>）
  5. link_text定位 （定位超链接 a标签）：
  6. partial_link_text定位（定位超链接 a标签 模糊）
  7. XPath定位 （基于元素路径）
  8. css定位 （元素选择器）

css定位

#1. id选择器
driver.find_element(By.CSS_SELECTOR,value="#applyMail")#选择id属性值（格式#id）
#2. class选择器
driver.find_element(By.CSS_SELECTOR,value=".btn-primary")
#3. 元素选择器
driver.find_element(By.CSS_SELECTOR,value="div")#标签
driver.find_element(By.CSS_SELECTOR,value="百度一下")#界面元素
#4. 属性选择器
driver.find_element(By.CSS_SELECTOR,value="[id='applyMail']")
#5. 层级选择器
driver.find_elements(By.CSS_SELECTOR,value="div div ")[1].click()#定位div下div中的a

3. 输入框输入

# 内容输入 send_keys('输入内容')
web.find_element('xpath','//*[@id="kw"]').send_keys('python selenium自动化')
# 清除输入框的内容
web.find_element('xpath','//*[@id="kw"]').clear()
#强制等待1s
time.sleep(1)
# 鼠标点击.click()
web.find_element('xpath','//*[@id="su"]').click()

4. 执行JS脚本

execute_script(X)

# 由于在selenium执行自动化的时候，会存在一些界面始终显示在浏览器上无法去除，这时候可以使用JS脚本删除界面元素
web.execute_script("""
	var a = document.getElementsByClassName("classname")[0];
	a.parentNode.removeChild(a);
""")
# 执行js弹窗代码
browser.execute_script("alert('这是js弹窗代码')")
sleep(2)
browser.switch_to.alert.accept()
sleep(2)
# 执行js窗口滚动条代码
browser.execute_script("window.scrollTo(20,1000)")
sleep(2)
# 打开多个窗口
browser.execute_script("window.open('https://www.baidu.com')")
browser.execute_script("window.open('https://www.bing.com')")

请添加图片描述

5. selenium切换窗口

# current_window_handle获取当前窗口的句柄
page_context = web.current_window_handle
# window_handles获取所有打开页面的句柄，是一个列表
pages_context = web.window_handles
# switch_to.window(“XX”)切换到指定页面，XX代表页面句柄
web.switch_to.window(page_context)
#切换到第一个窗口
web.switch_to.windows(web.window_handles[0])
#关闭当前窗口
web.close()

6. 获取element中的元素

#获取页面的cookie
web.get_cookie()
#获取属性的值
input = web.find_element('xpath','')
input.get_property("src")

# 获取页面源码 element中的源码
pagesource = web.page_source
print(pagesource)

7. frame/iframe内元素操作

选取框架内元素，首先我们要定位到框架元素，然后切换到框架页面，才能对框架页面内元素进行操作。

  • switch_to.frame(tag_iframe)切换到frame/iframe框架页面。
  • switch_to.parent_frame()从内敛框架中切出。
# 定位到iframe标签
tag_iframe = browser.find_element(By.TAG_NAME, 'iframe')
# 切换到iframe框架页面内
browser.switch_to.frame(tag_iframe)
# 定位到框架内搜索框并输入内容
browser.find_element(By.LINK_TEXT, 'Python').click()
sleep(2)
# 从内敛框架页面切出
browser.switch_to.parent_frame()
browser.find_element(By.XPATH, "//input").send_keys("这是框架外面！）

8. 下拉列表操作

<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8">
	<meta name="viewport" content="width=device-width, initial-scale=1">
	<title></title>
</head>
<body>
	编程语言:<select>
		<option>2000年</option>
		<option>2001年</option>
		<option value="Python">2002年</option>
		<option>2003年</option>
		<option>2004年</option>
	</select>
</body>
</html>


#导包
from selenium.webdriver.common.by import By
# 导入Select类
from selenium.webdriver.support.select import Select

 定位下拉列表标签,并创建下拉列表对象
select = Select(browser.find_element(By.TAG_NAME, "select"))
# 通过value属性选择选项
select.select_by_value("Python")
sleep(2)
# 通过文本内容选择选项
select.select_by_visible_text("C++")
sleep(2)
# 通过选项索引号选择选项
select.select_by_index(0)  # 等同于 select.options[0].click()
sleep(2)
# 通过options属性循环选取
for i in select.options:
    i.click()
    sleep(2)

9. 无头浏览器

UI自动化时不展示浏览器界面

# 导包
from selenium.webdriver.chrome.options import Options

opt = Options()
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")
web = Chrome(options=opt)

10. selenium等待

  • sleep(n)强制等待，需要导入time包，n表示等待秒数；用于避免因元素未加载出来而定位失败的情况。
  • implicitly_wait(n)隐式等待，如果超过n秒，抛出找不到元素的异常；隐式等待只需要声明一次，一般在打开浏览器后进行声明。隐式等待存在的问题是程序会一直等待整个页面加载完成才会执行下一步，有时候想要定位的元素早就加载好了，但是由于别的页面元素没加载好，仍会等到整个页面加载完成才能执行下一步。
  • WebDriverWait(web,n,h)：显式等待,web代表浏览器对象，n等待时长，h频率。相比于隐式等待，显式等待只针对指定的元素生效，不再是针对所有的页面元素。可以根据需要定位的元素来设置显式等待，无需等待页面完全加载，节省了大量因加载无关紧要的页面元素而浪费的时间。使用方法：WebDriverWait(browser,5,0.5).until(expected_conditions.presence_of_element_located((By.ID,‘kw’)))
from selenium.webdriver import Chrome
# 导包
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

web.get(url='https://www.baidu.com/')
# 窗口最大化
web.maximize_window()
tag = WebDriverWait(web, 5, 0.5).until(EC.presence_of_element_located((By.XPATH, '//*[@id="su"]')))
tag.click()
web.quit()

11. 截图

get_screenshot_as_file(XX)浏览器窗口截屏，XX代表文件保存地址及文件名、格式。只写文件名保存至当前路径，若写路径，则路径必须存在。

from time import sleep
# 导入selenium包
from selenium import webdriver
# 启动并打开指定页面
web = webdriver.Firefox()
webr.get("https://www.baidu.com")
sleep(2)
# 浏览器窗口截屏
web.get_screenshot_as_file("csdn.png")
sleep(2)
browser.quit()

verify_div = web.find_element('xpath','')
#截图div区域并保存成b64格式
yanzhengma_img = verify_div.screenshot_as_base64

# 截图div区域，保存成图片
verify_div.screenshot("img")

3. 验证码

1. 图鉴

网址：http://www.ttshitu.com/

import base64
import json
import requests
# 一、图片文字类型(默认 3 数英混合)：
# 1 : 纯数字
# 1001：纯数字2
# 2 : 纯英文
# 1002：纯英文2
# 3 : 数英混合
# 1003：数英混合2
#  4 : 闪动GIF
# 7 : 无感学习(独家)
# 11 : 计算题
# 1005:  快速计算题
# 16 : 汉字
# 32 : 通用文字识别(证件、单据)
# 66:  问答题
# 49 :recaptcha图片识别
# 二、图片旋转角度类型：
# 29 :  旋转类型
#
# 三、图片坐标点选类型：
# 19 :  1个坐标
# 20 :  3个坐标
# 21 :  3 ~ 5个坐标
# 22 :  5 ~ 8个坐标
# 27 :  1 ~ 4个坐标
# 48 : 轨迹类型
#
# 四、缺口识别
# 18 : 缺口识别（需要2张图 一张目标图一张缺口图）
# 33 : 单缺口识别（返回X轴坐标 只需要1张图）
# 五、拼图识别
# 53：拼图识别
def base64_api(uname, pwd, img, typeid):
    with open(img, 'rb') as f:
        base64_data = base64.b64encode(f.read())
        b64 = base64_data.decode()
    data = {"username": uname, "password": pwd, "typeid": typeid, "image": b64}
    result = json.loads(requests.post("http://api.ttshitu.com/predict", json=data).text)
    if result['success']:
        return result["data"]["result"]
    else:
        #！！！！！！！注意：返回 人工不足等 错误情况 请加逻辑处理防止脚本卡死 继续重新 识别
        return result["message"]
    return ""


if __name__ == "__main__":
    img_path = "C:/Users/Administrator/Desktop/file.jpg"
    result = base64_api(uname='你的账号', pwd='你的密码', img=img_path, typeid=3)
    print(result)

2. 点选验证验证

#获取验证码图片的div
verify_div = web.find_element('xpath','')
#截图保存成b64的字符串
yanzhengma_img = verify_div.screenshot_as_base64

登记入口的，点选验证码请添加图片描述

获取验证码，鼠标的点选位置

使用selenium的事件链，点击
请添加图片描述
请添加图片描述
请添加图片描述

  • selenium+lxml组合获取页面数据

显示等待导包
请添加图片描述
请添加图片描述

  • 12306登录请添加图片描述
    鼠标滑动验证

导包请添加图片描述
解决滑动后报错请添加图片描述
检测到selenium报错
88之前的版本使用此命令修改window.navigator.webdriver请添加图片描述
请添加图片描述
88之后的版本
请添加图片描述
请添加图片描述
请添加图片描述

大橘杂货铺
关注
专栏目录
第八章：scrapy框架_第八章：scrapy框架.zip_
10-03
在实际使用中，创建一个Scrapy项目的第一步是使用`scrapy startproject`命令初始化一个项目结构。然后，你需要定义Spider类，包括其起始URL、如何跟随链接以及如何解析页面。解析通常通过定义`parse`方法实现，该...
第1章 Python3概述
02-14
Python在自动化运维中，如Selenium库，被用于自动化测试和网页操作。在Web开发中，有Django和web2py等框架。在科学计算方面，NumPy、SciPy和Matplotlib等库提供了强大的数据处理能力。对于常规软件开发，Python的...
selenium.xmind
12-13
本人读完虫师的selenium，python自动化总结的文档，包含了selenium8大定位方法，以及键盘控制，鼠标控制等。具体为第4章和第5章的内容
Selenium WebDriver精讲
05-03
第八章聚焦于如何使用Selenium WebDriver操作`select`下拉框。在许多Web应用中，下拉框是非常常见的控件，掌握如何与其交互对于实现自动化测试至关重要。 **操作下拉框的方法**： - 选择选项。 - 获取所有选项。 - ...
selenium 书籍
09-01
- **第八章**：Selenium Grid，介绍了如何使用Selenium Grid进行分布式测试。 - **第九章**：用户扩展，讲解了如何根据需求定制和扩展Selenium的功能。 #### 四、Selenium 的特点与优势 - **可扩展性**：Selenium...
selenium学习日记
weixin_44035362的博客
10-29 201
2、验证码工具，本地的onnx模型进行图像识别，得到最终的验证码，速度还蛮快的。这篇文章旨在记录学习selenium的时候遇到的问题和代码风格。1、常见的登录问题、cookie、token、验证码、邮箱。
【Python爬虫实战】全面掌握 Selenium 的 IFrame 切换、动作链操作与页面滚动技巧
易辰的博客
10-30 1117
在使用 Selenium 进行网页自动化测试或数据抓取时，我们经常会遇到需要操作 iframe、模拟复杂的 用户交互动作，以及处理 动态加载页面 的情况。这些操作是实现稳定且高效自动化流程的关键。本指南将详细介绍如何切换 iframe、使用动作链执行复杂交互，以及如何通过页面滚动加载更多内容。无论是自动化测试还是爬取动态网页，这些技巧都能帮助你更好地控制浏览器。页面滚动在 Selenium 中非常常见，主要用于：模拟用户浏览页面的行为。处理无限滚动页面中的动态内容。滚动到页面中特定元素，以实现交互。
网页自动化测试和爬虫：Selenium库入门与进阶
萧鼎的博客
11-02 853
Selenium 是一个浏览器自动化工具，可以模拟用户操作，如点击按钮、填入表单、滚动页面等。它支持多种浏览器（如 Chrome、Firefox 等），使其成为自动化测试和动态页面数据采集的强力工具。Selenium 是一个功能全面的网页自动化测试工具，既可用于网页功能的自动化测试，又能在网页爬虫中抓取动态数据。掌握了以上基本与进阶技巧，相信你已经可以用 Selenium 轻松应对各种网页交互场景。在实际项目中，通过合理地使用等待和浏览器选项，Selenium 可以成为非常高效、稳定的数据获取和测试工具。
selenium操作已开启的浏览器，方便调试
m0_37570494的博客
11-01 201
注意事项：端口需要不被占用，--user-data-dir="D:\workspace\chrome-data"这个路径需要有权限访问，不能放在一个需要管理员访问的路径下，否则浏览器打不开。执行代码时有时会比较慢，需要有点耐心。
selenium 点击元素报错element not interactable
weixin_41934979的博客
11-02 178
报元素不可交互的错误：可能是span标签不能使用元素自带的click方法，一些可以点击的标签元素，例如：button、a标签，才能用元素自带的click方法。
SpringMVC入门详解
最新发布
ning的博客
11-02 530
SpringMVC是一个基于Java的实现了MVC设计模式的Web框架，它通过将Web层进行模块化，使得Web应用程序的开发变得更加灵活和可维护。简化开发：通过注解的方式简化了配置，减少了代码量。强大的集成能力：可以很容易地与其他Spring模块集成。灵活的配置：支持零配置启动，也支持通过XML或Java配置进行详细配置。可重用性高：可以轻松地将一个项目中的代码重用到另一个项目中。
【Python单元测试】pytest框架单元测试常用用例
彳亍的技术博客
10-30 400
介绍使用pytest的Mock写法
SpringMVC
2401_85217463的博客
10-29 387
SpringMVC 是一种基于 Java 的实现 MVC 设计模型的请求驱动类型的轻量级 Web 框架，属于SpringFrameWork 的后续产品，已经融合在 Spring Web Flow 中。SpringMVC 已经成为目前最主流的MVC框架之一，并且随着Spring3.0 的发布，成为最优秀的 MVC 框架。它通过一套注解，让一个简单的 Java 类成为处理请求的控制器，而无须实现任何接口。同时它还支持 RESTful 编程风格的请求。
面试准备第一版ssm spring-springmvc
m0_56618365的博客
10-31 840
请写出spring中常用的依赖注入方法：1、setter2、构造方法注入3、字段注入小案例：|-- src@AutowiredSpring 面试中，常被问到的注解包括以下几种，它们各自有不同的用途和功能使用场景：代码说明@Configuration：标识 AppConfig 类为 Spring 的配置类，表示它可以包含 bean 定义。
CNAS软件测试的好处有哪些?上海软件测试中心推荐
卓码测评
10-29 607
在进行软件测试或其他项目检测需要选择软件测试中心时，我们常常会把该公司有无资质认证考虑进去。那么CNAS认可作为检测机构或实验室的一项重要资质认证，我们可能会产生疑问：CNAS认可什么意思?CNAS软件测试又有什么好处呢?
申请CNAS软件测试资质，如何选择测试工具最具性价比？
daopuyun的博客
10-30 507
因此，如果使用非商业测试工具产品，如开源产品，为了避免测试机构对开源软件的修改导致的测试结果问题，需要测试机构提供开源测试工具产品与商业测试工具产品的比对证明，证明两者测试结果相一致。开源测试工具产品支持的通信协议、开发技术往往有限，如开源代码测试工具产品一般只支持单个语言，且往往偏重于代码质量，能够检测的代码安全问题较少，开源Web应用安全测试工具产品对一些较新的Web前端技术支持不充分，测试无法充分覆盖。例如，允许 500 个用户的测试工具，在初次使用前，应采用适当的方法对其是否符合要求予以核查确认。
Nico，从零开始干掉Appium，移动端自动化测试框架实现
2401_86705854的博客
11-01 757
要知道，有时候当一个元素不存在唯一标识符的时候，相对位置的元素查找方式是一个非常好用的（这里吐槽一下，airtest 中没有直接通过当前元素节点获取上下节点的方法，提了 PR , 过了快两年了也没人审核通过）。特别是在跑多条测试用例的时候，时间成本是肉眼可见的直线上升。与 Appium 不同的是，Appium 通过会话来管理和与特定的设备交互，每次启动一个新的测试时，Appium 会创建一个新的会话，并返回一个会话 ID。再一个是保活的机制，在我的印象里，appium 是没有做保活机制的。
安卓应用自动化测试工具Appium实操分享
daopuyun的博客
10-29 884
因为我们现在大部分app都是原生+混合的，而CSS是web专用的，所以是没有办法在原生和混合的app中去做定位的。Pytest是Python的一款自动化测试框架，在学习自动化测试过程中，我们最开始学习的都是线性脚本，但是当学到一定阶段以及业务复杂度和数据量上来后，我们必须需求一种全新的框架思维来管理和规范我们的测试脚本，从而实现高类聚低耦合的理念。滑动需要明确起点和终点，这个语法括号中传的是类似于坐标点，从x1,y1传到x2,y2，这个操作只适用于部分手机，如果手机换了一个大一些的屏幕，就需要变了。
Maven(22)如何使用Maven进行单元测试？
qq_43012298的博客
11-02 351
Maven提供了内置的支持来进行单元测试，主要通过插件实现。
Selenium新手入门与2.0教程详解
6. **测试设计考虑**：在第7章和第8章，文档探讨了测试设计的最佳实践，包括如何编写可维护的测试用例、性能测试和兼容性测试等内容，确保测试的效率和质量。 整体来看，这份文档提供了一个循序渐进的学习路径，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值