AppUI自动化中的图像识别的使用

最新推荐文章于 2025-02-03 15:32:26 发布

潜龙9527

最新推荐文章于 2025-02-03 15:32:26 发布

阅读量3.1k

点赞数 1

分类专栏：测试框架介绍文章标签： AppUI 图像识别

本文链接：https://blog.csdn.net/lionking0318/article/details/110390273

版权

测试框架介绍专栏收录该内容

9 篇文章

订阅专栏

本文探讨了在AppUI自动化测试中如何利用图像识别技术提高测试效率。图像识别技术，如人脸识别和商品识别，已广泛应用于安全、零售等领域。在自动化测试框架中，图像识别用于解决元素无属性或自定义View识别问题。通过引入图像识别服务，如百度云、阿里云和腾讯云等，可以实现元素定位、操作及结果检测。然而，图像识别存在效率和网络消耗问题，需要结合传统自动化测试策略合理使用。总结了图像识别在业务操作封装、页面元素检测等方面的应用，并强调了其在自动化测试中的优势和局限性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

人工智能现在使用的越来越成熟了，如人脸识别，图像识别等，在AppUI自动化测试中，也有越来越多的框架或是公司引入图像识别技术来提高自动化测试的执行效率。图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。

图像的传统识别流程分为四个步骤：图像采集→图像预处理→特征提取→图像识别。图像识别软件国外代表的有康耐视等，国内代表的有图智能、海深科技等。另外在地理学中指将遥感图像进行分类的技术。

一，测试框架中的图像识别

在我们做 App 自动化测试的时候，会发现很多场景下元素没有 id、content-desc、text 等等属性，并且有可能也会碰到由于开发采用的是自定义 View，View 中的元素也无法识别到，很多的自动化测试框架对此类场景束手无策。Appium 在 V1.9.0 中有给我们带来了针对于图像识别的全新图片元素定位的方法：-image

具体使用方法可以参考：http://testingpai.com/article/1597824416789

如果是公司自己做二次开发的自动化测试框架，可以根据业务需要自行集成图像识别功能，方便在做AppUI自动化测试时，提高测试效率。

二，收费的图像识别服务

现在越来越多的公司都提供了云服务，在服务的产品当中，都有图像识别服务，如下所示：

当前提供图像识别服务的云有：

百度云：https://cloud.baidu.com/solution/aiplatform/index.html
阿里云：https://ai.aliyun.com/image?utm_content=se_1006839984
腾讯云：https://cloud.tencent.com/product/generalocr
商汤图像识别：https://www.sensetime.com/cn/technology-detail?categoryId=30

当你们公司需要引入图像识别服务，来提高AppUI自动化测试效率时，就需要购买相应的服务。当得到对应的Key后，就可以通过调用相应的API来处理图像识别需求，结合AppUI自动化测试框架，处理自动化实施过程中传统框架无法操作的元素识别等操作。

三，APPUI中如何引用图像识别

在做APPUI自动化测试时，常规的做法就是：

（1）引入自动化测试框架，如Appium；

（2）借助于编码语言，通过对App元素的属性，如resouce_id,Xpath,text等属性定位要操作的元素；

（3）根据测试用例的需求，对相应的元素做指定的操作，如：click,send_keys等。

但在自动化测试执行过程中，就会遇到各种问题，如：

（1）被测试App元素属性有变化，属性被开发修改，打包的时候代码混淆从而造成测试用例必须进行维护；

（2）测试用例执行完成，需要检测的内容较多，定位检测元素效率比较低等。

（3）被测App无法获取元素属性，传统定位方法无法定位；

（4）App测试中唤起其他的应用，造成driver需要切换等。

为了解决这样的问题，引入图像识别方法是最优的解决方案，而图像识别解决的App通用操作有：

1，获取页面所有元素，检测需要操作的元素

通过图像识别功能，先将用例执行到需要操作的页面；对当前页面进行截屏，然后调用图像识别功能，识别出当前页面上的所有元素。接下来需要过滤出要操作的页面元素，如，通过元素上的文字筛选元素；通过元素类别，如image,button来区分元素；通过位置来筛选元素，如：元素在屏幕右上角，则判断元素的位置，x大于屏幕的一半，y小于屏幕的三分之一就是要查找的元素。找到要操作的元素后，执行需要的操作即可。

2，通过元素文字操作元素

一个应用无论从元素属性，还是打包混淆来影响自动化测试，但是元素显示的文字内容变化的频率是相对来说要小的多。如果能通过元素的文案来操作元素，将是不错的选择。我们借助于图像识别法，可以识别出元素对应的文字所在的位置，然后使用driver.click(x,y),就可以单击相应位置的元素。此方法可以执行单击元素操作，当然也可以对输入框输入内容。如果对输入框输入内容的话，先单击这个输入框，让其处于激活状态，然后使用driver.sendKeys()输入内容。

3，检测测试结果

当一个测试用例执行完成后，需要检测一下用例的执行情况。此时可以通过封装函数，获取当前页面的所有文字信息，然后检测用例执行效果的关键文字，是否在当前页面？如果在，由认为当前用例执行通过，如果不在则用例执行失败。

当然，如果用例关注的检测点较多，或是关注页面布局，图片信息等，则可以采取图像对比法。我们截取标准的页面显示，然后在执行完用例后，保存当前页面与标准页面做对比，设置相似度，如99%为测试通过，否则为测试失败。但是此方法有一定的问题，不能做兼容性测试，不同的设备显示的内容是不一样的。

4，封装业务操作

在完成了上面的基本元素的图像操作后，就可以根据你要测试的产品的业务逻辑，封装一定的业务函数，从而提高代码的通过性。如下：美团众包的图像识别法进入接单设置功能函数：

/**

* 进入接单设置页

*/

public void enterOrderSetting()

{

if(!checkEleByText("刷新列表"))

{

startWork();

}

Utils.sleep(3000);

clickByText("接单设置");

//处理首次进入的提醒

if(checkEleByText("知道了"))

{

clickByText("知道了");

}

System.out.println("进入接单设置页....");

Utils.sleep(3000);

driver.back();

}