Airtest图像识别测试工具原理解读&最佳实践 | 京东云技术团队

京东云技术团队

于 2023-06-19 10:51:08 发布

阅读量2k

点赞数

分类专栏：测试硬核干货文章标签：京东云 Airtest 移动开发图像识别自动化测试

本文链接：https://blog.csdn.net/JDDTechTalk/article/details/131282873

版权

Airtest是一个跨平台的UI自动化测试框架，适用于游戏和App，支持Windows、Android和iOS。它使用图像识别技术，简化了测试脚本的创建过程，降低了学习成本。文章详细介绍了Airtest的使用实践，包括脚本生成、运行和定位方式，特别提到了基于模板的匹配方法和openCV的matchTemplate函数在识别中的作用。虽然存在对透明控件识别困难和无法获取文本内容的问题，但可以通过结合其他库来解决，强调了在UI自动化测试中灵活运用各种工具的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 Airtest简介

Airtest是一个跨平台的、基于图像识别的UI自动化测试框架，适用于游戏和App，支持平台有Windows、Android和iOS。Airtest框架基于一种图形脚本语言Sikuli，引用该框架后，不再需要一行行的写代码，通过截取按钮或输入框的图片，用图片组成测试场景，这种方式学习成本低，简单易上手。

2 Airtest实践

APP接入流水线过程中，赛博平台只支持air脚本，因此需要对京管家APP的UI自动化脚本进行的改造。如截图可见，AirtestIDE的主界面由菜单栏、快捷工具栏和多个窗口组成，初始布局中的“设备窗口”是工具的设备连接交互区域。
air脚本生成步骤：

通过adb连接手机或模拟器
安装应用APK
运行应用并截图
模拟用户输入（点击、滑动、按键）
卸载应用

通过以上步骤自动生成了 .air脚本，调试过程中我们可以在IDE中运行代码，支持多行运行以及单行运行，调试通过后可在本地或服务器以命令行的方式运行脚本：
.air脚本运行方式：airtest run “path to your .air dir” —device Android
.air脚本生成报告的方式：airtest report “path to your .air dir”

3 Airtest定位方式解析

IDE的log查看窗口会时时打印脚本执行的日志，从中可以看出通过图片解析执行位置的过程。下面就以touch方法为例，解析Airtest如何通过图片获取到元素位置从而触发点击操作。

@logwrap
def touch(v, times=1, **kwargs):
    """
    Perform the touch action on the device screen
    :param v: target to touch, either a ``Template`` instance or absolute coordinates (x, y)
    :param times: how many touches to be performed
    :param kwargs: platform specific `kwargs`, please refer to corresponding docs
    :return: finial position to be clicked, e.g. (100, 100)
    :platforms: Android, Windows, iOS
    """
    if isinstance(v, Template):
        pos = loop_find(v, timeout=ST.FIND_TIMEOUT)
    else:
        try_log_screen()
        pos = v
    for _ in range(times):

最低0.47元/天解锁文章