“真正的机器人测试” - 淘宝泛终端机器人自动化测试实践

▐  什么是UEE自动化测试：

通过IoT（如机械手、摄像头）等外部设备模拟真实用户操作，实现以外部真实用户视角对AUT（APP Under Test）进行的端到端黑盒自动化测试。以“真实”模拟为核心目的，具体包括两部分：

1）用户交互体验评测：通过IoT（如摄像头、传感器）等外部设备采集并将真实用户感受数字化，来获取最接近真实用户体感的性能及用户体验指标；软件绿色联盟在2020年3月份也发布了《软件绿色联盟智能终端性能流畅评测标准V2.0》，并以机械臂+摄像头的方式作为加载耗时的评测标准，我们在2019年初就开始使用这种模式。

2）多设备端到端功能自动化：通过机械手实现同时多设备的跨终端的自动化操作执行；通过AI算法实现IoT设备的调度控制、场景理解、测试步骤执行、测试路径探索、体验指标计算、异常处理等能力。

通过机器人对系统进行黑盒测试，类似的做法在国外Axiz机器人也有尝试。

▐  为什么要UEE设备端到端自动化测试

E：满足深度用户体验评测的诉求（Experience）

更高精度：随着深度用户体验提升的需求日益增加，端侧的性能和体验优化会精确到ms级别，因此需要找到进一步提升用户体验指标度量精度的方法。

多设备间交互测量：随着多端交互的场景越来越多。不光是APP之间，设备层面APP和PC乃至IoT之间交互的场景也不断出现，需要度量多APP多设备之间的交互性能及用户体验，需要度量多设备多系统间（从A手机到B手机，手机到PC/IoT 等）的交互式体验指标。

真实模拟：软件模拟点击和真实用户操作还是存在差异，要探索一种更模拟用户真实操作的方式。

E：对多设备端到端功能自动化测试的支持（End1 to End2）

业务客户端发版经常需要对Android/iOS/Pad甚至PC进行覆盖测试，同时APP之间的业务交互场景也逐渐增多，比如淘系的消费者-商家互通全流程，测试不仅仅只是单手淘、天猫或者千牛APP覆盖，还要能覆盖和串联起从消费者到商家的整个业务流程端到端自动化。此时，我们面临着新的挑战：

<