搜狗高级测试经理诸葛东明谈基于AI图像识别的输入法性能测试实践

诸葛东明：

大家下午好，非常荣幸在这里跟大家做一个分享，我今天分享的主题主要是基于AI图像识别的输入法性能测试实践，希望分享之后给大家带来一些收获。

在分享之前我先简单做个自我介绍，我叫诸葛东明，来自搜狗公司，主要负责搜狗输入法和搜狗浏览器。本次分享想达成的目标是，第一，把这个过程中遇到的问题以及解决方案分享给大家，另外一个是抛砖引玉，希望跟在座的各位大咖交流测试方面的经验，特别是在测试+AI方面的经验。

 

我这次分享的内容主要是三部分，第一部分是介绍一下搜狗输入法性能测试的背景是什么，以便于大家理解性能测试的难点。第二部分是性能测试实践过程，大概具有四个阶段，前期的手工测试阶段，到后面的主要基于AI图像识别的阶段，重点在第四部分。最后是关于我在这次实践过程中一些心得和收获。

在介绍之前，我先简单说一下我们性能测试的背景。其实一个输入法要测试的内容还是蛮多的，比如说我们要进行内存占用的测试，看看打字、手写内存占用有没有泄露，它的内存是多少；然后我们也会做耗电量的测试，看看它是不是很耗电；再者也会做稳定性测试，比如长时间打字看看它会不会崩溃。在所有的性能测试有一个非常重要的指标叫按键响应时间，即用户在输入法按下键盘，到右侧显示候选之间的间隔，因为这是一个最常见的场景。

那么这种测试，我们之前是怎么测的，我们早期的时候是使用Hook的方式去Hook系统底层的文字绘制函数，这个方法也测了很久没有什么问题。但是呢，突然有一天，我们合作的厂商给我们反馈一个问题，说你们的输入法测试结果和报告上不一致，你们输入法按键速度，其实实际验证是不如竞品的，也会感觉到一些卡顿。我就想了解一下对方实际的测试方法，原来他们是用高速摄像，大家现在手机上也有，比如iphone上的慢动作，一秒钟120帧，然后使用的是高速摄像的方式把整个输入过程拍摄下来，人工的去看，在按下按键和出现候选词之间有多少帧，以及时间是多少。后来我们实际验证确实是慢的，我们确实不如对手，后来我们很快把这问题解决了，现在输入法没有问题了。但是这个事情促使我们思考这件事情，按键响应时间，我们到底怎么去测试。

之前的方法是用Hook函数的方式获取，但是不代表用户实际的感受，经过我们大量的调研，我们接收了友商的测试方法，因为这代表用户肉眼观测到的结果，是用户直接的体验感受。同时，我们也尝试业界的测试工具，比如说腾讯的工具，其实在这个上面敏感度不大，不能反映问题。另外我们用了一些业界的自动化测试工具，结果也是不能满足测试需求。为什