1 背景
APP端UI自动化因其特殊性(需连接测试机)一般都在本地执行,这种执行方式的局限性有以下弊端:
- 时效性低:研发每次打包后都需要通知测试,测试再去打包平台取包,存在时间差
- 研发自测或产品验收无法使用自动化脚本:研发自测及产品验收时如果想用自动化脚本需要搭建相应的运行环境并准备测试机,繁琐的步骤导致研发/产品放弃使用自动化。而手工验证的过程中经常需要测试协助下单、改数据,效率低
- 本地执行的结果没有持久化存储,不利于进行结果度量
2 方案分析
为解决以上问题需要搭建流水线,CI/CD领域常用的流水线平台非Jenkins莫属,Jenkins功能强大、可二次开发,但执行APP自动化需要windows执行机、模拟器/真机,这些要求无疑增加了测试成本。与之相比,Bamboo平台是基于Jenkins开发的流水线平台,不仅继承了Jenkins的众多功能,且支持图形化配置,并对接了赛博平台等其他平台。
从下图对比中可以看出,复用现有的Bamboo平台成本更低,同时需要做以下改变:一、自动化框架需要改为airtest框架;二、需要对测试报告进行处理以符合预期。
3 方案实施
架构图:
流程图:
执行结果:
4 执行过程中遇到的问题及解决方案
1.bamboo打debug包成,release包不成功
解决:证书管理中上传 sign.properties 文件,该文件中去掉绝对路径信息,使用相对路径
2.赛博平台无法输入汉字
解决:用poco().set_text()替代text()方法
3.跑脚本失败提示 RuntimeError: unable to launch AndroidUiautomationPoco
解决:赛博的机器有ATX,会影响poco初始化。poco初始化前加代码:
# 停止ATX
try:
shell("am force-stop com.github.uiautomator")
shell("/data/local/tmp/atx-agent server --stop")
except Exception as e:
print("兼容非赛博机器")
5 待解决问题
1、接入coding平台,只支持airtest框架
影响:需要对原框架进行改动,成本较高。与赛博平台负责产品沟通过,赛博平台后期会开发对接其他框架的功能。
2、手动配置的数据比较多:模块、用例、用例集
影响:除了测试脚本外还需单独配置模块、用例、用例集,人工成本较高。后需可考虑coding平台代码合并后触发定时任务自动生成对应的模块、用例、用例集。
3、无法指定机型
影响:无法指定机型进行兼容性测试,与赛博平台分则产品沟通过,暂未有计划修改此项。
4、京管家未接入线上打包平台
影响:测试过程中需要本地保留apk包,占本地内存且容易混淆;无法进行版本管理,需要复现问题时不能及时提供历史版本;UED走查或产品验收时只能京ME联系研发取包,时效性差;无法接入流水线。
6 预期收益
流水线不仅解决了环境配置及测试机不足的问题还有以下优势:
- 学习成本低,操作简单,预计可节省三分之二的工时
- 执行结果可以做持久化存储,后期可与自动化度量平台相结合进行数据分析
- 流水线中可加入Sunglasses原子,UI自动化测试过程中监控Flutter异常
- 线上版本可做日常化监控,及时发现问题
总结:
感谢每一个认真阅读我文章的人!!!
作为一位过来人也是希望大家少走一些弯路,如果你不想再体验一次学习时找不到资料,没人解答问题,坚持几天便放弃的感受的话,在这里我给大家分享一些自动化测试的学习资源,希望能给你前进的路上带来帮助。
软件测试面试文档
我们学习必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有字节大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
视频文档获取方式:
这份文档和视频资料,对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴我走过了最艰难的路程,希望也能帮助到你!以上均可以分享,点下方小卡片即可自行领取。