Airtest基础使用原理和airtest中touch定位说明

最新推荐文章于 2024-05-15 05:08:24 发布
最新推荐文章于 2024-05-15 05:08:24 发布
阅读量8.6k 收藏 21
点赞数
分类专栏： airtest
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42550871/article/details/109716202
版权

Airtest是一款跨平台的UI自动化测试框架，基于图像识别原理，适用于游戏和App。

安装

这部分说明了如何在本地python环境中安装Airtest测试框架。如果你需要使用GUI工具，请从 官网 直接下载AirtestIDE使用。

系统要求

  • 操作系统
    • Windows
    • MacOS X
    • Linux
  • Python2.7 & Python3.3+

安装Python Package

使用 pip 来管理安装包和自动安装所有依赖。

① 安装Airtest库： pip install airtest

② 安装poco库： pip install pocoui

③ 更新Airtest: pip install -U airtest

④ 更新Poco： pip install -U pocoui

⑤ 卸载Airtest库： pip uninstall airtest

你也可以直接从Git仓库安装。

git clone https://github.com/AirtestProject/Airtest.git
pip install -e airtest

因为Airtest还在快速开发中，这里使用 -e 来安装源码。以后你就可以直接使用 git pull 更新代码目录来升级Airtest了。

因为我是用的mac电脑,在写好最简单的脚本后,用pycharm执行,报没有权限

解决办法:

cd {your_python_path}/site-packages/airtest/core/android/static/adb/mac
chmod +x adb

文档

完整的Airtest框架文档请查阅 readthedocs。

例子

Airtest提供了简洁而且平台无关的API。这部分介绍了如何使用这些API来编写一个自动化脚本，步骤如下：

  1. 通过ADB连接一台安卓手机
  2. 安装应用APK
  3. 运行应用并截图
  4. 模拟用户输入（点击、滑动、按键）
  5. 卸载应用
from airtest.core.api import *

# connect an android phone with adb
init_device("Android")
# or use connect_device api
# connect_device("Android:///")

install("path/to/your/apk")
start_app("package_name_of_your_apk")
touch(Template("image_of_a_button.png"))
swipe(Template("slide_start.png"), Template("slide_end.png"))
assert_exists(Template("success.png"))
keyevent("BACK")
home()
uninstall("package_name_of_your_apk")

更多API和使用方法，请参考完整的 Airtest Python API reference ，或者直接看看 API code

连接设备

使用 connect_device 来连接任意Android/iOS设备或者Windows窗口。

connect_device("platform://host:port/uuid?param=value&param2=value2")
  • platform: Android/iOS/Windows…
  • host: Android平台是adb host，iOS下是iproxy host，其他平台请留空
  • port: Android下是adb port，iOS下填写iproxy port，其他平台请留空
  • uuid: 目标设备的uuid，例如Android下是序列号，windows下是窗口句柄，iOS是uuid
  • param: 设备初始化的配置字段，例如cap_method/ori_method/…
  • value: 设备初始化字段的值。

查看 connect_devce 获取更多信息。

连接安卓设备

  1. 通过usb将手机与电脑相连
  2. 命令行输入 adb devices 命令，确保手机连接状态是 device
  3. 在Airtest中连接设备
  4. 如果你连接了多个设备，或者有远程设备，那么使用参数来指定要连接的设备
# connect an android phone with adb
init_device("Android")

# or use connect_device api with default params
connect_device("android:///")

# connect a remote device using custom params
connect_device("android://adbhost:adbport/1234566?cap_method=javacap&touch_method=adb")

连接iOS设备

根据 iOS-Tagent 的操作指引来配置环境。

# connect a local ios device
connect_device("ios:///")

 

Airtest截取的单张图片的相关选项

AirtestIDE直接修改截取的图片

在AirtestIDE中，可以通过双击脚本中的图片，调出图像设置菜单：

image

可以直接通过修改菜单中的值，来自动改变这张图像的相关属性。

脚本代码修改属性

假如直接使用文本编辑器打开我们所编辑的Airtest脚本目录里的同名py文件，可以看到，每张图片都由类似这样的语句组成：

Template(r"tpl1532588127987.png", record_pos=(0.779, 0.382), resolution=(407, 264))

#截取的图片名， record_pos记录坐标， resolution 分辨率

直接在里面加入需要修改的值即可：

Template(r"tpl1532588127987.png", record_pos=(0.779, 0.382), resolution=(407, 264), threshold=0.6, target_pos=5, rgb=False)

图像识别阈值threshold（浮点类型）

threshold是用来判定一张图片识别是否成功的阈值，例如一张图片识别到的匹配度是0.65，而我们设置的threshold为0.7的话，Airtest会认为匹配失败，从而进行下一次匹配。

通常来说，threshold设置得越高，图像识别的精度越高，但成功率也会有所降低，请根据自己的实际情况酌情设置。

取值范围为0~1之间，[0, 1]，默认值是0.7。

如果希望修改全局所有图片的图像识别阈值THRESHOLD，可以查看下文介绍。

图像点击位置target_pos（整型）

当识别出一张图像后，Airtest将会默认去点击图像的正中心位置，有时我们希望它识别出图片后点击其他位置，可以通过修改target_pos属性来实现。

例如：

image

在上图中，我们希望点击中间选项的“升级”按钮，不希望点到别的选项去，而只截出升级按钮不能满足我们的需求。

此时我们可以考虑将截图范围扩大到红色虚线框选的区域，截图后将这张方形图片视为一个九宫格，方框上的每一个暗色红点都代表一个数字，将希望被点击的位置设置为target_pos的值即可。在这个例子中，我们可以让截图区域的底部正好放在“升级”按钮上，然后设置target_pos=8即可正好点击到该按钮。

target_pos取值范围是1~9，[1, 9]，且必须为整数，默认值是5（图像正中心）。

切换彩色与灰度识别rgb

在识别图像时，Airtest会先将图像转为灰度图再进行识别。因此假如有两个按钮，形状内容相同，只有颜色不同的情况下，Airtest将认为它们都是相同内容。

通过勾选rgb选项，或在代码中加入rgb=True，可以强制指定使用彩色图像进行识别。

2. 脚本全局设置

Airtest的一些全局设置

Airtest的设置模块详见文档：https://airtest.readthedocs.io/zh_CN/latest/all_module/airtest.core.settings.html?highlight=settings#airtest.core.settings.Settings

1）log内容的设置：LOGFILE、LOGDIR

LOGFILE 用于自定义记录log内容的txt文档的名称；LOGDIR 用于自定义log内容的保存路径，示例如下：

from airtest.core.settings import Settings as ST
from airtest.core.helper import set_logdir

ST.LOG_FILE = "log123.txt"
set_logdir(r'D:\test\1234.air\logs')

auto_setup(__file__)

# 此处省略N条用例脚本

image

2）图像识别算法的设置：CVSTRATEGY

CVSTRATEGY 用于设置Airtest的图像识别算法，默认情况下 CVSTRATEGY = ["surf", "tpl", "brisk"] ，每次查找图片的时候，airtest就会按照这个设置好的算法顺序去执行，直到找出一个符合设定阈值的识别结果，或者是一直按照这个算法顺序循环查找，直到超时。

我们可以自定义Airtest的图像识别算法，示例如下：

from airtest.core.settings import Settings as ST

ST.CVSTRATEGY = ["tpl", "sift","brisk"]

在airtest.core.settings里，提供了部分全局默认属性，其中我们列举出几个常见属性和它们的默认值：

  • RESIZE_METHOD = staticmethod(cocos_min_strategy)
  • THRESHOLD = 0.7 # [0, 1]
  • THRESHOLD_STRICT = 0.7 # [0, 1]
  • OPDELAY = 0.1
  • FIND_TIMEOUT = 20
  • FIND_TIMEOUT_TMP = 3
  • PROJECT_ROOT = os.environ.get("PROJECT_ROOT", "") # for using other script

全局属性设置方法

想要改变上述的settings里的值，只需要在脚本中这样写：

from airtest.core.api import *
# airtest.core.api中包含了一个名为ST的变量，即为全局设置
ST.THRESHOLD = 0.8

# 未指定图片threshold，默认使用ST.THRESHOLD中的0.8
touch(Template(r"tpl1532588127987.png", record_pos=(0.779, 0.382), resolution=(407, 264)))

# 手工指定图片threshold，以图片设置的0.6为准
touch(Template(r"tpl1532588127987.png", record_pos=(0.779, 0.382), resolution=(407, 264), threshold=0.6))

全局设置中属性值介绍

RESIZE_METHOD

在使用不同分辨率的设备进行图像识别时，可能会导致识别成功率不佳，因此Airtest提供了默认的分辨率适配规则（使用的是Cocos引擎的默认缩放规则），代码在这里。

想要提高2d游戏的识别精度，最好的办法就是明确指定你的游戏的分辨率适配规则，例如，直接在.air脚本文件的开头这样写：

from airtest.core.api import *

def custom_resize_method(w, h, sch_resolution, src_resolution):
    return int(w), int(h)

# 替换默认的RESIZE_METHOD
ST.RESIZE_METHOD = custom_resize_method

上面的代码指定了一个自定义的缩放规则：直接return原来的值，不管屏幕分辨率，所有UI都不进行缩放（有的游戏就是这种策略）。

这里的RESIZE_METHOD，即我们定义的custom_resize_method使用的输入参数为：

  • w, h # 录制下来的UI图片的宽高
  • sch_resolution # 录制时的屏幕分辨率
  • src_resolution # 回放时的屏幕分辨率

输出为：
- 回放时的UI图片宽高

若要自定义你的RESIZE_METHOD，只需要知道你测试的游戏的缩放规则，然后在custom_resize_method中用代码实现即可。这样做，能够大大提升不同分辨率设备下的图像识别成功率。

THRESHOLD

THRESHOLD在上文中已经提到过，是图像识别的阈值，我们除了能够设置单张图片的识别THRESHOLD值以外，还可以设置全局的THRESHOLD，让每一张图片都默认生效。

而设置中还有一个THRESHOLD_STRICT，这是一个更加严格的阈值设定，只用于assert_exists(图片)接口。

OPDELAY

在我们的脚本中，每一个步骤的操作之间都会有一小段时间间隔，默认用OPDELAY进行设定。

OPDELAY默认值为0.1，即每一步操作后等待0.1秒，将它适当设置得大一些，可以在每次操作后停顿一小段时间，避免过快进行下一个操作导致不能成功的问题。

FIND_TIMEOUT

在每次进行图像查找时，如果一次查找不成功，将会再次进行截图-查找的循环，直到超时才会停下来，超时时长为FIND_TIMEOUT，默认20秒。

同时，我们还提供了一个FIND_TIMEOUT_TMP，默认只有3秒。在不同的截图接口中分别使用了这2个值：

使用了FIND_TIMEOUT作为图片查找超时时长的接口为：

  • touch
  • double_click
  • swipe（swipe支持从第一张图片滑动到第二张图片，此处只有第一张图片使用了FIND_TIMEOUT）
  • wait（wait支持直接传入一个timeout参数，若没有指定timeout，默认使用FIND_TIMEOUT作为超时时长）
  • assert_exists

在另外一些对查找图片的要求较低的接口中，使用了时长较短的FIND_TIMEOUT_TMP：

  • swipe（如果第二个参数传入了图片，那么它将使用较短的查找时间）
  • exists
  • assert_not_exists

如果想要修改全局的图片查找超时时长，请务必注意需要修改的是哪个值。

PROJECT_ROOT

可以通过设定一个默认项目根目录PROJECT_ROOT，让使用using接口时能够在当前根目录下寻找别的子脚本，无需填写完整路径，让脚本之间相互调用使用更加方便。

例如，我们建立一个名为test1.air的脚本，实际路径为/User/test/project/test1.air

from airtest.core.api import *

def test():
    touch("tmp.png")

在同一目录下另外一个main.air脚本可以这样引用到它里面的test：

from airtest.core.api import *

ST.PROJECT_ROOT = "/User/test/project"
using("test1.air")
from test1 import test

图像识别算法选择CVSTRATEGY

在Airtest中，提供了多种不同的图像识别算法，方法名列表有：["tpl", "kaze", "brisk", "akaze", "orb", "sift", "surf", "brief"]。

具体每个算法的识别效果、内存占用等评估数据，可以参考Airtest/benchmark文档，在实际使用中，由于使用场景、图片分辨率大小以及手机类型的多寡不同，每个算法具体的表现优劣情况也有所不同，因此大家可以用自己的使用案例来进行算法的测试，选择更合适的算法。

在Airtest脚本中，使用以下代码来设定脚本中的图像匹配算法：

from airtest.core.settings import Settings as ST
# 脚本运行时将按照此算法顺序识别，直到“找到符合设定阈值的识别结果”或“识别超时”:
ST.CVSTRATEGY = ["surf", "tpl"]

 

公子清羽
关注
  • 0
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于图像识别原理的UI自动化工具——Airtest入门
software_test010的博客
09-16 2695
一．背景 1当前UI自动化面临的问题 难以使用一套工具对移动端、web端、桌面端进行自动化测试 版本更新页面改动较大，自动化脚本的维护成本高 图片内容难以验证 2 解决方案 用图像识别方法代替传统坐标定位方法进行UI自动化设计 二．Airtest自动化简介 Airtest是一个跨平台的UI自动化测试框架，基于图像识别原理。Airtest IDE操作页面如图 1．优点 基于python，跨平台，可用于移动端、web端、桌面端UI自动化测试，支持windows、ios、android 2．组成 整个工具.
​自动化测试框架Airtest详解
software_test010的博客
09-11 545
在软件开发领域，高质量的软件产品离不开严格的测试过程。而自动化测试作为一种高效、准确的测试方法，逐渐成为了开发人员和测试人员的首选。本文将详细介绍一款名为Airtest的自动化测试框架，帮助读者了解它的基本原理、功能特点以及使用方法。
初识AirTest
qq_45402697的博客
02-10 766
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、UI自动化介绍与框架对比二、AirtestProject项目简介AirtestProject是由网易游戏推出的一款自动化测试框架，项目构成如下：二、AirtestProject环境搭建二、AirtestProject框架介绍三、AirtestProject使用四、脚本编写-*- encoding=utf8 -*-总结 前言 公司最近在做自动化测试，之前有了解过appuim想看看有没有更好的ui自动化框架。听同事推荐了网易的
Airtest脚本的点击位置与点击偏移_airtest 双击(2)
最新发布
2401_84562529的博客
05-15 816
假设我们想点击上图黄框内的button，如果我们仅仅截图目标图像 ，可以预想的到，目标图像底色一致，基本没有变化，里面也仅有简单的线条，这样的图像脚本，很容易被算法判定为特征点过少，或者是识别到了错误的目标上去。默认情况下，Airtest都是点击图像的中心位置的，也就是 target_pos=5 的位置。这个方式的好处就是，有时候我们发现，脚本的实际点击位置，偏离了我们的预期，我们就可以到log查看窗里，找到算法识别出来的结果，用坐标工具去设备画面上核对算法结果是否符合我们的预期，是不是真的找偏了。
8年经验分享 —— 带你从0开始学习自动化框架Airtest
MYH919520的博客
08-03 137
现在市面上做UI自动化的框架很多，包括我们常用的Web自动化框架Selenium，移动端自动化框架Appium。虽然Selenium和Appium分属同源，而且API都有很多相同的地方，可以无损耗切换，但是还是需要引入不同的库，而且偏向UI层面的自动化有一个很大的痛点，就是元素定位会差一些，所以在这个过程中，通过各种各样的手段，比如引入OCR图像识别技术，很多都会使用原生的open-CV,在这个过程中，识别率就是我们要解决的一大问题。
自动化测试工具-Airtest使用介绍
yw1013的博客
10-24 3729
Airtest框架-绝对坐标Airtest是基于图片识别的框架，讲究所见即所得，所以其坐标都是使用的屏幕绝对坐标，如：touch([500,500])、swipe([100,100],[500,500]) 假如手机屏幕就是1000*1000，[500,500]就是屏幕的中心点，这就是屏幕的绝对坐标；poco框架-相对坐标。
20231103airtest
11-03
1. 图像识别：Airtest使用图像识别技术来定位屏幕上的元素，通过比较屏幕截图与预定义的图像模板，找出对应的位置，增强了测试脚本的鲁棒性。 2. 跨平台：支持多种操作系统，包括Android、iOS和Windows，使得测试...
瑞华MESTRO-TOUCH中文使用说明书.pdf
06-14
这说明书是非常难找的，好多企业在用这仪器，但都是英文说明书。
AirTest自动化测试头条测试点击资料
08-13
在Python中使用AirTest，我们需要先安装AirTest库。通过pip命令`pip install airtest`即可完成安装。然后，我们可以创建一个Python脚本来编写测试用例。例如，要实现点击头条极速版中的某个按钮，可以使用`air.test....
airtest Documentation中文-python-游戏开发.pdf
12-13
airtest 的基本使用方法包括连接设备、模拟输入和声明断言等内容。 连接设备 airtest 支持多种设备，包括 Android 和 iOS 等移动设备。 模拟输入 airtest 提供了多种模拟输入方法，包括点击、滑动和输入文本等。...
vue中touch和click共存的解决方式
11-20
在vue开发手机端项目时，我们经常会遇到touch和click共存的情况，比如城市选择页面的字母滑动 touch事件在手机端会触发浏览器滑动，所以应给touch事件添加阻止默认行为touchmove.prevent。注意阻止默认行为事件不要...
基于图像识别框架Airtest的Windows项目自动化测试实践
qq_73332379的博客
06-09 953
一、Airtest框架介绍 1.Airtest介绍 Airtest是网易出品的一款基于图像识别和Poco控件识别的一款UI自动化测试工具。这个框架设计来源于新颖的图形脚本语言Sikuli，关于Sikuli框架可见上一篇分享《基于Sikuli GUI图像识别框架的PC客户端自动化测试实践》。和Sikuli框架的原理一样，用户不需要一行行的去写代码，而是用屏幕截屏的方式，用截出来的图形摆列组合成神器的程序，这是Airtest的一部分。另外，Airtest也可以基于poco这个UI控件搜索框架，通过控件的名称、i
Airtest 进行WebUI自动化测试（selenium）
guanrongl的专栏
05-15 4136
一、介绍 AirtestIDE支持连接chrome浏览器来进行网页的自动化测试，它使用的库是airtest-selenium，是对selenium的python库做的一层封装。本质就是selenium自动化测试。
airtest_touch未点击失效
sunquan291的专栏
09-15 1689
在使用Airtest进行WEB测试自动化相关功能开发过程中，突然发现在本地机器上使用airtest_touch函数时，对于截图扫描后却无法点击对应页面中图片。当我们打开测试报告，发现对于图片识别算法，已经是准确识别到了对应的截图位置，那获取的坐标点也应该是正常的，为什么点击不了？尝试着使用找到的坐标67,32进行强制touch（点击），最后发现也点击不成功，奇怪的是反而点击到了界面的其它位置。尝试从网络上进行搜索，有同学说是版本的问题，不置可否！从命令行中找到对应日志，最终图片中心坐标点为67，32。
Airtest IDE 自动化测试7 - touch 使用介绍
qq_27371025的博客
05-27 2168
前言 在app中点击一个元素，可以用到touch方法，touch是触摸事件，手机上用手指触摸，实际上执行的就是点击操作了。 touch 介绍 Airtest IDE 中 Airtest 辅助窗查看 touch 语法 touch(v, times=1, duration=0.01, right_ckick=False) @param v: 图片或者坐标(x, y) @param times: 点击次数，默认1次 @param duration: 按住时间，默认0.01秒 @param right_ckick
AirTest自动化测试框架简介
weixin_43489515的博客
04-14 2887
一、AirTest介绍 由网易公司研发，基于图像识别原理的跨平台UI自动化测试框架，适用于游戏、Android、iOS、web、Windows项目，有poco、图像识别、selenium三个大类库 特点： 跨平台：可以在所有平台上执行和app的自动化 易操作：使用图像识别技术来定位UI元素，无需嵌入任何代码即可对游戏和应用进行自动化 可扩展性：AirTest提供的命令与pythonAPI接口，可...
airtest入门web自动化
Zhuqq_07的博客
08-18 4334
web自动化、airtest、自动化测试、测试人员简单上手web自动化
Airtest笔记（二）
漫步云端的博客
03-02 3546
poco的元素定位 一：poco的元素定位 （1）借助IDE的poco辅助窗生成元素定位脚本 点检视器按钮（前两个都行），点元素，就能看到该元素所在的位置，点那个定位就能生成脚本（区别是第一个按钮锁住页面） 点录制按钮，点元素，然后就生成了脚本，去掉.click()即可 （2）利用基本选择器进行元素定位 ...
Airtest--基本使用（简易描述）
万物皆有灵
08-07 7331
Airtest官网：https://airtest.doc.io.netease.com/ 1、Airtest页面 （1）手机连接USB，点击刷新ADB按钮，点击connect进行连接，右侧会出现连接的手机的画面。 （2）点击poco辅助窗，选择Android（手机安装两个文件“Yosemite”“pocoservice”），然后脚本编辑窗会出现poco mode has changed…positon?yes no 。此时选择yes (3)出现下方两行代码即可录制自动化了 #安卓实例 from p
airtest的touch使用
11-01
Airtest是一款用于移动端和PC端自动化测试的工具，其中touch函数是用于模拟用户在屏幕上的点击操作。在使用touch函数时，需要传入一个图片路径或者坐标参数，用于指定点击的位置。如果传入的是图片路径，则会先对屏幕进行截图扫描，找到对应的图片后再进行点击操作。如果传入的是坐标参数，则直接在指定位置进行点击操作。 在引用中提到的问题可能是由于图片识别不准确导致的。可以尝试更换图片或者调整识别参数来解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值