Android之AI自动化测试--Midscene

---

前言

字节 Web Infra团队官宣Midscene 从 v0.15 开始支持 Android 自动化测试，本篇文章介绍yaml方式的Android自动化测试，该方式只需要专注于脚本本身，不需要着重了解测试框架。团队内的任何成员都可以编写自动化脚本，只要会写测试用例。

---

一、准备工作

1.安装

全局安装 @midscene/cli （0.15以上）
安装 Node.js 18 或以上版本。

2.准备 API Key

请参考上一篇文章，我使用的是阿里云百炼平台提供的qwen-vl-max-latest，据说是千问系列视觉模型中效果最好的。

3.安装 adb

官网给出两种安装方法：
方法 1：使用 Android Studio 安装
方法 2：使用 Android 命令行工具 安装

我是直接下载独立的 Android SDK 平台工具软件包

此处有两个坑，大家请注意：
（1）adb要配置到电脑的环境变量（不会的请自己搜）
（2）Midscene对adb的目录有要求，必须是D:\Android\SDK目录，所以下载的platform-tools要放入此目录中，否则执行脚本会报错 （此条为我电脑发现的错误，可能大家不会出现）

验证本机是否已安装 adb的命令：

adb --version

当你看到以下输出时，表示 adb 安装成功：

Android Debug Bridge version 1.0.41
Version 36.0.0-13206524
Installed as D:\Android\SDK\platform-tools\adb.exe
Running on Windows 10.0.19045

4.连接设备

我用的真机调试，所以打开开发者选项，启用 ‘USB 调试’，如果存在 ‘USB 调试（安全设置）’，也启用它（不启用，后面运行脚本会出错），然后使用 USB 线连接 Android 设备。

二、yaml格式自动化脚本

1. 脚本案例

代码如下（示例）：

android:
  deviceId: 设备id --- 用adb devices 查看

tasks:
  - name: 百度地图
    flow:
      - ai: 打开“百度地图”app
      - sleep: 5000
      - ai: 点击照相标识左侧的输入框，输入“福州软件园”
      - aiTap: 点击搜索
      - sleep: 3000
      - aiAssert: 结果显示搜索地图信息

2.执行结果

执行结束后，在midscene_run/report目录下会按时间格式生成 HTML 报告文件，打开该文件即可查看测试运行结果。

---

如果执行过程中出现“Exception occurred while executing ‘tap’:
java.lang.SecurityException: Injecting input events requires the caller (or the source of the instrumentation, if any) to have the INJECT_EVENTS permission.”这样的错误，'USB 调试（安全设置）'请启用。

三、文件结构变化

0.15版本之前，文件是target 和tasks两个部分
更新之后，在 .yaml 文件中，有两个部分：web/android 和 tasks。
web/android 部分定义了任务的基本信息，浏览器下的自动化使用 web 参数（曾用参数名 target），安卓设备下的自动化使用 android 参数，二者是互斥的。

android 部分

android:
  # 设备 ID，可选，默认使用第一个连接的设备
  deviceId: <device-id>

  # 启动 URL，可选，默认使用设备当前页面
  launch: <url>

其他的配置没变，请参考上一篇或者去官网查看最新的信息。