引言
Selenium是一个流行的Web自动化测试框架,它支持多种编程语言和浏览器,并提供了丰富的API和工具来模拟用户在浏览器中的行为。Selenium可以通过代码驱动浏览器自动化测试流程,包括页面导航、元素查找、数据填充、点击操作等。
与PyAutoGUI和AutoIt相比,Selenium更适合于处理Web界面上的自动化操作。
它可以轻松地测试像网页表单、AJAX异步请求、JavaScript交互等功能。Selenium有一个活跃的社区,确保持续的开发和更新,也有许多用例和最佳实践可供借鉴。
此外,一些云测平台如BrowserStack或Sauce Labs,也提供内置的Selenium集成,从而使测试流程变得更加容易和灵活。因此,在处理Web界面自动化测试时,Selenium是一个值得推荐的选择。
概述
selenium
是网页应用中最流行的自动化测试工具,可以用来做自动化测试或者浏览器爬虫等。官网地址为:Selenium。相对于另外一款web自动化测试工具QTP来说有如下优点:
- 免费开源轻量级,不同语言只需要一个体积很小的依赖包
- 支持多种系统,包括Windows,Mac,Linux
- 支持多种浏览器,包括Chrome,FireFox,IE,safari,opera等
- 支持多语言,包括Java,C,python,c#等主流语言
- 支持分布式测试用例执行
python+selenium环境安装
首先需要安装python(推荐3.7+)环境,然后直接用pip install selenium
安装依赖包即可。
另外还需要下载浏览器相应的webdriver
驱动程序,注意下载的驱动版本一定要匹配浏览器版本。
- Firefox浏览器驱动:geckodriver
- Chrome浏览器驱动:chromedriver
- IE浏览器驱动:IEDriverServer
- Edge浏览器驱动:MicrosoftWebDriver
- Opera浏览器驱动:operadriver
下载以后可以把驱动程序加到环境变量,这样使用时就不用手动指定驱动程序路径。
使用selenium启动浏览器
可以在python中使用下面的代码启动一个Chrome
浏览器,然后控制这个浏览器的行为或者读取数据。
from selenium import webdriver
# 启动Chrome浏览器,要求chromedriver驱动程序已经配置到环境变量
# 将驱动程序和当前脚本放在同一个文件夹也可以
driver = webdriver.Chrome()
# 手动指定驱动程序路径
driver = webdriver.Chrome(r'D:/uusama/tools/chromedriver.exe')
driver = webdriver.Ie() # Internet Explorer浏览器
driver = webdriver.Edge() # Edge浏览器
driver = webdriver.Opera() # Opera浏览器
driver = webdriver.PhantomJS() # PhantomJS
driver.get('http://uusama.com') # 打开指定路径的页面
启动的时候还可以设置启动参数,比如下面的代码实现启动时添加代理,并且忽略https
证书校验。
from selenium import webdriver
# 创建chrome启动选项对象
options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=127.0.0.1:16666") # 设置代理
options.add_argument("---ignore-certificate-errors") # 设置忽略https证书校验
options.add_experimental_option("excludeSwitches", ["enable-logging"]) # 启用日志
# 设置浏览器下载文件时保存的默认路径
prefs = {"download.default_directory": get_download_dir()}
options.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(options=options)
一些非常有用的启动选项,下面使用的options = webdriver.ChromeOptions()
:
options.add_argument("--proxy-server=127.0.0.1:16666")
: 设置代理,可以结合mitmproxy
进行抓包等option.add_experimental_option('excludeSwitches', ['enable-automation'])
: 设置绕过selenium
检测options.add_argument("---ignore-certificate-errors")
: 设置忽略https证书校验options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})
: 设置不请求图片模式加快页面加载速度chrome_options.add_argument('--headless')
: 设置无头浏览器
selenium页面加载等待和检测
使用selenium打开页面以后,还不能立刻操作,需要等到待处理页面元素加载完成,这时就需要检测和等待页面元素加载。
使用time.sleep()
等待
最简单的方法就是打开页面以后,使用time.sleep()
强制等待一定时间,该方法只能设置一个固定时间等待,如果页面提前加载完成,则会空等阻塞。
from time import sleep
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://uusama.con')
time.sleep(10)
print('load finish')
使用implicitly_wait
设置最长等待时间
另外还可以使用implicitly_wait
设置最长等待时间,如果在给定时间内页面加载完成或者已经超时,才会执行下一步。该方法会等到所有资源全部加载完成,也就是浏览器标签栏的loading图表不再转才会执行下一步。有可能页面元素已经加载完成,但是js或者图片等资源还未加载完成,此时还需要等待。
另需注意使用implicitly_wait
只需设置一次,且对整个driver
生命周期都起作用,凡是遇到页面正在加载都会阻塞。
示例如下:
from selenium import webdriver
driver = webdriver.Chrome()
driver.implicitly_wait(30) # 设置最长等30秒
driver.get('http://uusama.com')
print(driver.current_url)
driver.get('http://baidu.com')
print(driver.current_url)
使用WebDriverWait
设置等待条件
使用WebDriverWait
(selenium.webdriver.support.wait.WebDriverWait)能够更加精确灵活地设置等待时间,WebDriverWait
可在设定时间内每隔一段时间检测是否满足某个条件,如果满足条件则进行下一步操作,如果超过设置时间还不满足,则抛出TimeoutException
异常,其方法声明如下:
WebDriverWait(driver, timeout, poll_frequency=0.5, ignored_exceptions=None)
其中各参数含义如下:
driver
:浏览器驱动timeout
:最长超时时间,默认以秒为单位poll_frequency
:检测的间隔(步长)时间,默认为0.5秒
ignored_exceptions
:忽略的异常,即使在调用until()
或until_not()
的过程中抛出给定异常也不中断
WebDriverWait()
一般配合until()
或until_not()
方法使用,表示等待阻塞直到返回值为True
或者False
,需要注意这两个方法的参数都需是可调用对象,即方法名称,可以使用expected_conditions
模块中的方法或者自己封装的方法。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
driver = webdriver.Chrome()
driver.get("http://baidu.com")
# 判断id为`input`的元素是否被加到了dom树里,并不代表该元素一定可见,如果定位到就返回WebElement
element = WebDriverWait(driver, 5, 0.5).until(expected_conditions.presence_of_element_located((By.ID, "s_btn_wr")))
# implicitly_wait和WebDriverWait都设置时,取二者中最大的等待时间
driver.implicitly_wait(5)
# 判断某个元素是否被添加到了dom里并且可见,可见代表元素可显示且宽和高都大于0
WebDriverWait(driver,10).until(EC.visibility_of_element_located((By.ID, 'su')))
# 判断元素是否可见,如果可见就返回这个元素
WebDriverWait(driver,10).until(EC.visibility_of(driver.find_element(by=By.ID, value='kw')))
下面列出expected_conditions
常用的一些方法:
title_is
: 判断当前页面title是否精确等于预期title_contains
: 判断当前页面title是否包含预期字符串presence_of_element_located
: 判断某个元素是否被加到了dom树里,并不代表该元素一定可见visibility_of_element_located
: 判断某个元素是否可见(元素非隐藏,并且元素的宽和高都不等于0)visibility_of
: 跟上面的方法做一样的事情,只是上面的方法要传入locator,这个方法直接传定位到的element就好了presence_of_all_elements_located
: 判断是否至少有1个元素存在于dom树中。举个例子,如果页面上有n个元素的class都是'column-md-3',那么只要有1个元素存在,这个方法就返回Truetext_to_be_present_in_element
: 判断某个元素中的text是否包含了预期的字符串text_to_be_present_in_element_value
: 判断某个元素中的value属性是否包含了预期的字符串frame_to_be_available_and_switch_to_it
: 判断该frame是否可以switch进去,如果可以的话,返回True并且switch进去,否则返回Falseinvisibility_of_element_located
: 判断某个元素中是否不存在于dom树或不可见element_to_be_clickable
: 判断某个元素中是否可见并且是enable的,这样的话才叫clickablestaleness_of
: 等某个元素从dom树中移除,注意,这个方法也是返回True或Falseelement_to_be_selected
: 判断某个元素是否被选中了,一般用在下拉列表element_selection_state_to_be
: 判断某个元素的选中状态是否符合预期element_located_selection_state_to_be
: 跟上面的方法作用一样,只是上面的方法传入定位到的element,而这个方法传入locator
检测document
是否加载完成
另外还可以使用driver.execute_script('return document.readyState;') == 'complete'
来检测document
是否加载完成。
注意document
加载完成,是不包括那种异步加载ajax请求动态渲染dom的,这种需要使用WebDriverWait
检测某个元素是否渲染完成。
selenium元素定位和读取
查找元素
selenium提供了一系列api方便获取chrome中的元素,这些API都返回WebElement
对象或其列表,如:
find_element_by_id(id)
: 查找匹配id的第一个元素find_element_by_class_name()
: 查找匹配class
的第一个元素find_elements_by_xpath()
: 查找匹配xpath
的所有元素find_elements_by_css_selector()
: 查找匹配css选择器的所有元素
其实可以看WebDriver
类里面的实现源码,其核心实现都是调用两个基本函数:
find_element(self, by=By.ID, value=None)
: 查找匹配策略的第一个元素find_elements(self, by=By.ID, value=None)
: 查找匹配策略的所有元素
其中by
参数可以是ID
, CSS_SELECTOR
, CLASS_NAME
, XPATH
等。下面举几个简单的例子:
- 通过xpath查询包含文本
登录
的第一个元素:find_element_by_xpath("//*[contains(text(),'登录')]")
- 查询包含类名
refresh
的所有元素:find_elements_by_class_name('refresh')
- 查询
table
表格的第二行:find_element_by_css_selector('table tbody > tr:nth(2)')
dom元素交互
上面介绍的元素查找结果WebElement
对象,常用的api有:
element.text
: 返回元素的文本内容(包括所有后代节点的内容),注意如果元素display=none
则返回为空字符串element.screenshot_as_png
: 元素的截图element.send_keys("input")
: 元素输入框输入input
字符串element.get_attribute('data-v')
: 获取data-v
名称属性值,除了自定义节点属性,还可以获取如textContent
等属性element.is_displayed()
: 判断元素是否用户可见element.clear()
: 清除元素文本element.click()
: 点击元素,如果元素不可点击会抛出ElementNotInteractableException
异常element.submit()
: 模拟表单提交
查找元素失败处理
如果找不到指定元素,则会抛出NoSuchElementException
异常,而且需要注意,display=none
的元素是可以获取到的,凡是在dom
节点中的元素都可以获取到。
而且实际使用的时候要注意一些js代码动态创建的元素,可能需要轮询获取或者监控。
一个检查是否存在指定元素的方法如下:
def check_element_exists(xpath):
try:
driver.find_element_by_xpath(xpath)
except NoSuchElementException:
return False
return True
selenium交互控制
ActionChains
动作链
webdriver通过ActionChains
对象来模拟用户操作,该对象表示一个动作链路队列,所有操作会依次进入队列但不会立即执行,直到调用perform()
方法时才会执行。其常用方法如下:
click(on_element=None)
: 单击鼠标左键click_and_hold(on_element=None)
: 点击鼠标左键,不松开context_click(on_element=None)
: 点击鼠标右键double_click(on_element=None)
: 双击鼠标左键send_keys(*keys_to_send)
: 发送某个键到当前焦点的元素send_keys_to_element(element, *keys_to_send)
: 发送某个键到指定元素key_down(value, element=None)
: 按下某个键盘上的键key_up(value, element=None)
: 松开某个键drag_and_drop(source, target)
: 拖拽到某个元素然后松开drag_and_drop_by_offset(source, xoffset, yoffset)
: 拖拽到某个坐标然后松开move_by_offset(xoffset, yoffset)
: 鼠标从当前位置移动到某个坐标move_to_element(to_element)
: 鼠标移动到某个元素move_to_element_with_offset(to_element, xoffset, yoffset)
: 移动到距某个元素(左上角坐标)多少距离的位置perform()
: 执行链中的所有动作release(on_element=None)
: 在某个元素位置松开鼠标左键
模拟鼠标事件
下面代码模拟鼠标移动,点击,拖拽等操作,注意操作时需要等待一定时间,否则页面还来不及渲染。
from time import sleep
from selenium import webdriver
# 引入 ActionChains 类
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get("https://www.baidu.cn")
action_chains = ActionChains(driver)
target = driver.find_element_by_link_text("搜索")
# 移动鼠标到指定元素然后点击
action_chains.move_to_element(target).click(target).perform()
time.sleep(2)
# 也可以直接调用元素的点击方法
target.click()
time.sleep(2)
# 鼠标移动到(10, 50)坐标处
action_chains.move_by_offset(10, 50).perform()
time.sleep(2)
# 鼠标移动到距离元素target(10, 50)处
action_chains.move_to_element_with_offset(target, 10, 50).perform()
time.sleep(2)
# 鼠标拖拽,将一个元素拖动到另一个元素
dragger = driver.find_element_by_id('dragger')
action.drag_and_drop(dragger, target).perform()
time.sleep(2)
# 也可以使用点击 -> 移动来实现拖拽
action.click_and_hold(dragger).release(target).perform()
time.sleep(2)
action.click_and_hold(dragger).move_to_element(target).release().perform()
模拟键盘输入事件
通过send_keys
模拟键盘事件,常用有:
send_keys(Keys.BACK_SPACE)
: 删除键(BackSpace)send_keys(Keys.SPACE)
: 空格键(Space)send_keys(Keys.TAB)
: 制表键(Tab)send_keys(Keys.ESCAPE)
: 回退键(Esc)send_keys(Keys.ENTER)
: 回车键(Enter)send_keys(Keys.F1)
: 键盘 F1send_keys(Keys.CONTROL,'a')
: 全选(Ctrl+A)send_keys(Keys.CONTROL,'c')
: 复制(Ctrl+C)send_keys(Keys.CONTROL,'x')
: 剪切(Ctrl+X)send_keys(Keys.CONTROL,'v')
: 粘贴(Ctrl+V)
示例:定位到输入框,然后输入内容
# 输入框输入内容
driver.find_element_by_id("kw").send_keys("uusamaa")
# 模拟回车删除多输入的一个字符a
driver.find_element_by_id("kw").send_keys(Keys.BACK_SPACE)
警告框处理
用于处理调用alert
弹出的警告框。
driver.switch_to_alert()
: 切换到警告框text
:返回alert/confirm/prompt
中的文字信息,比如js调用alert('failed')
则会获取failed
字符串accept()
:接受现有警告框dismiss()
:关闭现有警告框send_keys(keysToSend)
:将文本发送至警告框
selenium浏览器控制
基本常用api
下面列出一些非常实用的浏览器控制api:
driver.current_url
: 获取当前活动窗口的urldriver.switch_to_window("windowName")
: 移动到指定的标签窗口driver.switch_to_frame("frameName")
: 移动到指定名称的iframe
driver.switch_to_default_content()
: 移动到默认文本内容区driver.maximize_window()
: 将浏览器最大化显示driver.set_window_size(480, 800)
: 设置浏览器宽480、高800显示driver.forword()
,driver.back()
: 浏览器前进和后退driver.refresh()
: 刷新页面driver.close()
: 关闭当前标签页driver.quiit()
: 关闭整个浏览器driver.save_screenshot('screen.png')
: 保存页面截图driver.maximize_window()
: 将浏览器最大化显示browser.execute_script('return document.readyState;')
: 执行js脚本
selenium读取和加载cookie
使用get_cookies
和add_cookie
可以实现将cookie缓存到本地,然后启动时加载,这样可以保留登录态。实现如下
import os
import json
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.baidu.cn")
# 读取所有cookie并保存到文件
cookies = driver.get_cookies()
cookie_save_path = 'cookie.json'
with open(cookie_save_path, 'w', encoding='utf-8') as file_handle:
json.dump(cookies, file_handle, ensure_ascii=False, indent=4)
# 从文件读取cookie并加载到浏览器
with open(cookie_save_path, 'r', encoding='utf-8') as file_handle:
cookies = json.load(file_handle)
for cookie in cookies:
driver.add_cookie(cookie)
selenium打开新的标签页窗口
使用driver.get(url)
会默认在第一个标签窗口打开指定连接,点击页面中的_blank
的链接时也会打开一个新的标签窗口。
还可以用下面的方式手动打开一个指定页面的标签窗口,需要注意打开新窗口或者关闭以后,还需要手动调用switch_to.window
切换当前活动的标签窗口,否则会抛出NoSuchWindowException
异常。
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.baidu.cn")
new_tab_url = 'http://uusama.com'
driver.execute_script(f'window.open("{new_tab_url}", "_blank");')
time.sleep(1)
# 注意:必须调用switch_to.window手动切换window,否则会找不到tab view
# 聚焦到新打开的tab页面,然后关闭
driver.switch_to.window(driver.window_handles[1])
time.sleep(2)
driver.close() # 关闭当前窗口
# 手动回到原来的tab页面
driver.switch_to.window(driver.window_handles[0])
time.sleep(1)
除了使用execute_script
外,还可以使用模拟打开新tab页按键的方式新建一个标签页窗口:
driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + 't')
ActionChains(driver).key_down(Keys.CONTROL).send_keys('t').key_up(Keys.CONTROL).perform()
selenium一些问题记录
获取隐藏元素的文本内容
如果一个元素是隐藏的,即display=none
,虽然可以通过find_element
查找到该元素,但是用element.text
属性是获取不到该元素文本内容的,其值是空字符串,这时可以用下面的方式获取:
element = driver.find_element_by_id('uusama')
driver.execute_script("return arguments[0].textContent", element)
driver.execute_script("return arguments[0].innerHTML", element)
# 相应的也可以把隐藏的元素设置为非隐藏
driver.execute_script("arguments[0].style.display = 'block';", element)
浏览器崩溃WebDriverException
异常处理
比如在Chrome
中长时间运行一个页面会出现Out Of Memory
内存不足的错误,此时WebDriver
会抛出WebDriverException
异常,基本所有api都会抛出这个异常,这个时候需要捕获并进行特殊处理。
我的处理方式是记录页面的一些基本信息,比如url,cookie等,并定期写入到文件中,如果检测到该异常,则重启浏览器并且加载url和cookie等数据。
selenium抓取页面请求数据
网上有通过driver.requests
或者通过解析日志来获取页面请求的方式,但是我感觉都不是很好使。最后使用mitmproxy
代理进行抓包处理,然后启动selenium
时填入代理来实现。
proxy.py
为在mitmproxy
基础上封装的自定义代理请求处理,其代码如下:
import os
import gzip
from mitmproxy.options import Options
from mitmproxy.proxy.config import ProxyConfig
from mitmproxy.proxy.server import ProxyServer
from mitmproxy.tools.dump import DumpMaster
from mitmproxy.http import HTTPFlow
from mitmproxy.websocket import WebSocketFlow
class ProxyMaster(DumpMaster):
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
def run(self, func=None):
try:
DumpMaster.run(self, func)
except KeyboardInterrupt:
self.shutdown()
def process(url: str, request_body: str, response_content: str):
# 抓包请求处理,可以在这儿转存和解析数据
pass
class Addon(object):
def websocket_message(self, flow: WebSocketFlow):
# 监听websockt请求
pass
def response(self, flow: HTTPFlow):
# 避免一直保存flow流,导致内存占用飙升
# flow.request.headers["Connection"] = "close"
# 监听http请求响应,并获取请求体和响应内容
url = flow.request.url
request_body = flow.request
response_content = flow.response
# 如果返回值是压缩的内容需要进行解压缩
if response_content.data.content.startswith(b'\x1f\x8b\x08'):
response_content = gzip.decompress(response_content.data.content).decode('utf-8')
Addon.EXECUTOR.submit(process, url, request_body, response_content)
def run_proxy_server():
options = Options(listen_host='0.0.0.0', listen_port=16666)
config = ProxyConfig(options)
master = ProxyMaster(options, with_termlog=False, with_dumper=False)
master.server = ProxyServer(config)
master.addons.add(Addon())
master.run()
if __name__ == '__main__':
with open('proxy.pid', mode='w') as fin:
fin.write(os.getpid().__str__())
run_proxy_server()
在使用mitmproxy
过程中,随着时间推移proxy.py
会出现占用内存飙升的问题,在github的issue区有人也遇到过,有说是因为http连接keep-alive=true
请求会一直保存不会释放,导致请求越多越占用内存,然后通过添加flow.request.headers["Connection"] = "close"
来手动关闭连接,我加了以后有一定缓解,但还是不能从根本上解决。
最后通过写入proxy.pid
记录代理程序进程,然后用另外一个程序定时重启proxy.py
来解决内存泄漏的问题。
结语
这篇贴子到这里就结束了,最后,希望看这篇帖子的朋友能够有所收获。欢迎留言,或是关注我的专栏和我交流。
有兴趣就点击下方小卡片去和大神交流交流吧!!