智能化测试技术探索与实践——AAAS/IEEE Fellow、北京大学讲席教授谢涛阿里行

谢涛教授简介

---

谢涛教授长期从事软件工程的研究，在软件测试、软件解析学、软件安全、智能软件工程、教育软件工程等方面做出了很多开创性的工作及突出的研究成果，因此先后当选美国计算机协会杰出科学家（ACM Distinguished Scientist），电气电子工程师学会会士（IEEE Fellow）和美国科学促进会会士（AAAS Fellow）。

谢涛教授对软件工程界做出杰出贡献和服务，获2020年度IEEE计算机协会软件工程技术委员会杰出服务奖（为其年度四大奖项之一）。

他于2007年与微软合作研发自动测试数据产生工具Pex，他设计和实现的Fitnex路径搜索技术集成到Pex里，成为其三大核心技术之一。自2015起，Pex被微软发布为Visual Studio企业版的IntelliTest主打功能，使广大Visual Studio用户受益。基于Pex，他还设计了一款新颖的编程教育游戏Coding Duels，拥有几百万的注册用户，并被微软研究院主办的编程之美大赛和Imagine Cup大赛采用作为其主要竞赛形式之一。

他于2010年与微软亚洲研究院合作，开创全新领域-软件解析学(Software Analytics)，引领软件工程研究者在该领域开展研究。

他于2017年与复旦大学合作，研发应对产业界广泛采用微服务架构后所遇到的开发和运维挑战的解决方案，并自主研发了第一个中大型规模的开源微服务系统TrainTicket，赋能学术界和产业界联合开展微服务相关的技术攻关。

近期谢涛教授将围绕如何通过AI的方式提升端到端功能自动化测试的能力和价值与淘系技术部技术质量团队开展访问研究，共同探索手工探索式测试、Monkey等方式，成本和范围无法保障；目前端到端功能自动化测试工具“逐步执行、单点验证”为主的传统模式成本高、难以快速应用和推广等难题。

本次淘系技术部邀请到谢涛教授就“软件质量的下一个五年：智能化测试技术探索与实践”为主题，面向阿里经济体技术同学进行分享。

智能探索，极测we来

---

淘系技术质量掌门人崔婧（青灵），首先介绍了淘系技术质量（极测）团队的发展历程：淘系从服务化—平台化—智能化的质量体系演进。

以及淘系在智能化测试的诸多实践和探索模式变化：

最后对淘系智能化测试未来探索做了展望：

智能化软件质量创新：机会与挑战

---

在崔婧（青灵）的隆重介绍下，谢涛教授登场，从软件质量的全流程出发，分享了研发测试流程各个环节的智能化创新成果。

谢涛教授首先介绍了智能测试的分层：

并重点从测试用例执行、测试数据生成、测试预言生成三个方面介绍了智能化测试层次的实践：

首先是测试用例执行的智能化：

Thummalapenta, Sinha, Singhania, Chandra. Automating Test Automation. ICSE 2012.

其次在测试数据生成、测试预言生成方面：

介绍了智能编程机器人在研发、测试代码编写中提供的诸多智能化能力以及实践效果。

与微软合作研发自动测试数据产生工具Pex，其中的Fitnex路径搜索技术，在测试数据生成领域的智能化实践：

介绍了自然语言测试、持续学习能力、带参数的测试用例等更多智能化测试实战分享：

UEE测试新模式 - 极测机器人RXT端到端测试

---

最后，本次谢涛老师访问学者在淘系技术质量合作方代表金晖（定源），分享了淘系在UEE端到端智能化测试新模式下的探索和实践：

UEE自动化测试包括两大核心能力：

• 用户交互体验评测：通过IoT（如摄像头、传感器）等外部设备采集并将真实用户感受数字化，来获取最接近真实用户体感的性能及用户体验指标；

• 多设备端到端功能自动化：通过机械手实现同时多设备的跨终端的自动化操作执行；通过AI算法实现IoT设备的调度控制、场景理解、测试步骤执行、体验指标计算、异常处理等能力。

通过RXT机器人测试平台来开展UEE自动化测试：

  

▐  UEE自动化和UI自动化的差异

通过脱离被测APP本身的一些限制实现真正的端到端测试。并进一步屏蔽被测APP在不同平台（Android/iOS/PC/IoT）之间自动化操作层面的差异、避免软件层进行性能体验度量的干扰和差异、以及增加了多设备间交互式自动化的能力。

• 测试范围的差异：基于高速摄像头的外部视角+机器视觉算法的识别处理，UEE测试同时包含了端到端功能自动化+用户体验评测的能力。

• 精度的差异：高速摄像头摆脱了手机录屏软件对被测APP的性能干扰和帧率限制，将用户体验指标精度提升至10ms。同时可以统一衡量标准，以外部摄像头作为统一的标准来衡量不同手机机型、不同终端设备的性能指标，减少软件层面造成的衡量标准差异。

• 支持多设备跨终端的操作：基于机械手封装的执行引擎RXT，可以同时操作多部手机。将以外部用户的模式操作被测手机和APP，并可以同时操作多个设备。且用一套DSL脚本支持，屏蔽底层设备和操作系统的差异（Android/iOS/PC Touch/IoT系统等）。

▐  未来展望

和谢涛教授团队一起在智能探索测试、智能验证、新一代智能化移动实验室等方向打造更加智能的测试机器人。

活动现场

淘系技术质量团队

负责保障整个手淘、天猫主战的业务质量，这里有丰富业务场景和技术挑战，我们以技术驱动，将持续建设及完善整个淘系稳定性、提升用户体验。

如果您有兴趣可讲简历发至：dingyuan.jh@alibaba-inc.com，期待您的加入！

✿  拓展阅读

作者|金晖(定源)

编辑|橙子君

出品|阿里巴巴新零售淘系技术