智能测试实践之路-UI 缺陷检测

篇幅较长，请大家耐心看完，建议收藏慢慢看，另外文末给大家准备了面试资料（学习资料加面试题等），需要自取！

背景

随着业务与技术的发展，软件架构从最初单体结构逐步演变成 AI 赋能的分布式体系，基础框架技术能力不断成熟，数据、控制、服务等能力的深化为业务的快速建立与扩展提供了强大的支撑能力。与此同时，测试技术由被测体的业务与技术变革所牵引，从瀑布式跟进服务端单体的纵向测试能力建设发展到敏捷化的端到端全链路测试，尤其强化了精析测试能力的作用。质量保障过程从点面支撑进化到立体保障，复杂度从服务端向移动端迁移。

移动端的测试模式可大体分为代码侵入方式与非代码侵入方式。代码侵入方式，以集成 SDK 或系统底层 Hook 方式为主，通过采集系统基础资源指标、收集日志信息、触发或反馈执行动作、调用或收集接口调用信息等方式，支持测试路径与结果验证。作为各大厂商的测试技术落地的主要方式，通过后向监控与单点查询等方式对业务测试起了很重要的作用。非代码侵入模式，以用户视角来探索测试边界，强调产品功能与体验，界面信息即是输入也是输出。由于缺少代码和日志信息的辅助，相对弱化测试路径的设计与目的性，强化用户交互逻辑。技术上或通过 UIAutomator/WDA 与 GUITree 控件树来实现定位与判决，或通过图像智能识别来实现分类、遍历与异常检测。

Test By AI 作为测试技术的新方向，已经逐步成为国内外大型互联网公司和测试服务提供商的研究方向。通过智能化手段增强测试路径生产能力、测试数据特征诊断能力，以及测试断言的准确性，是共同探索与实践的方向。其中，在图形化界面上，基于计算机视觉识别能力构建 UI 的功能录制回放、设计还原、性能诊断与线上巡检已慢慢有所沉淀，有代表性的平台包括 Test.AI、Applitool、Mabl 、AirTest、AppiumPro、Fastbot、SmartX、RXT、DevEco Studio、PerfDog、GameAISDK 等。

痛点

对于大型的 APP 而言，往往承载了公司触达用户的大量业务类型，通过前中后台数以万计的服务链条支撑，而高 DAU 多类型设备覆盖的用户场景成为产研测质量控制的挑战。代码后向兼容、模块依赖、数据一致性、业务策略重叠等，都可能引起功用户侧的系统问题，比如空白屏、空白块、文字重叠截断、图文遮挡、字符乱码、货币符号错误、兜底图文缺失等。问题列表：

图一：典型问题分布图

实践之可行性调研

研测阶段关注点在业务功能实现层面，人工甄别上述问题的成本非常高且容易形成疲劳遗漏，智能化在研测阶段和线上监控上识别此类问题正是 Test By AI 的切入点。在智能化切入目的性测试领域前，从结果诊断逻辑上探索异常巡检的落地技术实践是一种有效方式。

从