效能篇 | 爱奇艺APP一键体检技术实践

背景

AndroidAPP自动化测试目前包括很多测试专项，每一个专项都有很多创新内容，包括功能自动化测试、稳定性自动化测试以及性能自动化测试等，在日常的测试过程中以上的测试技术或者服务均会发现一些问题。

传统的稳定性自动化测试（Monkey测试）主要是通过任意的点击、滑动等操作模拟用户行为，但存在覆盖率低、执行效率低的问题。性能自动化测试往往局限于固定的测试场景，无法捕捉固定场景外的内存泄漏问题。另外兼容性测试仍然依赖于人工手动测试来覆盖多系统版本、多机型的方式，并且需要尽可能保证APP在不同设备上的功能可用性，但是这种人工测试很难完全覆盖市场上主流的安卓机型。

对于快速迭代的新业务团队而言，功能自动化case脚本的维护成本较高，且人力投入资源也不多，尽管通过配置化或者AI技术等手段的介入，自动化测试技术产生的收益还是不够理想。因此希望能够降低脚本编写成本和脚本的复杂度，减少脚本维护内容，让尽可能多的遍历交给服务来执行，同时也能发现更多的问题。

为了达到这样一个目标，爱奇艺测试团队提出了一种轻量、简单、通用的APP一键体检方案，用户只需提交一个APP地址，就可以给APP一个多维度的健康体检，包括【APP安全校验】、【UI异常检测】、【性能数据分析】、【Crash和ANR检测】等核心内容。

解决方案

方案主要通过开源工具ATX作为遍历引擎，集成web端的录制回放工具将定制化脚本无线方式分发到租赁的真机设备群，定向遍历基础上进行相关的控件遍历；从APP安装开始到最终遍历结束，最后自动卸载，时间段内任务完成。

任务分为4个阶段（安装、初始化、遍历、卸载），整个过程期间包含对日志采集、图片采集、视频录制、ANR和Crash监听采集和过滤，服务端进行相关日志分析，数据聚合等处理。针对过程又加入丰富了对APP自动安装成功率的优化、启动耗时的度量方案、问题的Bug自动上报、UI异常校验以及安全扫描等内容。

 

整体框架

一键体检整体功能由手机云后端服务、场景服务、Worker服务、分析监控服务四个模块组成。 任务启动后，首先从移动真机设备资源池中租赁一部分设备或者指定设备，远程挂载到Worker中。如果Worker不够用则自动扩展再次挂载，当对应Worker收到任务消息后就进行任务下发，分配到这些设备中，下发任务根据定向脚本数和设备数进行匹配，初始化结束后就开启安全检测、APP通用安装、执行遍历、数据抓取、图片抓取以及视频录制等服务，相关数据文件等按照结构化格式传输到日志服务平台。

一键体检整体框架

驱动内核

传统的功能自动化测试通常使用Uiautomator2框架编写Android脚本，然后打包作为一个APP安装到手机上，实现APP UI驱动。该框架可对控件进行遍历，也可定向运行指定功能测试，但是在公共统一设备资源池情况下，多团队租赁设备后就需要在手机上安装集成测试脚本的APP，这样需要安装的APP就变得多了起来。

此外打包安装测试APP到运行任务，整个测试开发效率是非常低的。为了克服这样的问题，团队采用通过http方式，将执行的动作脚本传输到对应手机设备，实现无线遍历的方法。这样的好处是可以灵活实现定向遍历，手机端也无需再打包安装驱动引擎或者驱动测试APP。团队使用的内部框架主要是基于开源项目ATX二次开发实现，包括对设备端的atx-agent稳定性升级，支持添加ATX的录屏，以及内部日志优化的处理等。

如下图，可以看到py代码可以转换成以http方式传输到手机端形成相应的指令，来执行相关的驱动目的。