小程序，Uiautomator2 无法获取具体控件，需要识别内容，使用Python 图像处理+OCR

goudandanddd

已于 2023-07-19 22:14:57 修改

阅读量468

点赞数

文章标签： python

于 2023-07-05 17:11:48 首次发布

本文链接：https://blog.csdn.net/goudandanddd/article/details/131560138

版权

在一些APK里，会无法获取具体的控件，比如某些小程序里，使用weditor获取的控件：

此时可以使用『图像处理+OCR』的方式处理，比如，还是看这篇吧，都整理到这了~

https://mp.csdn.net/mp_blog/creation/editor/131560275

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

goudandanddd

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
小程序，Uiautomator2 无法获取具体控件，需要识别内容，使用Python 图像处理+OCR

此时可以使用『图像处理+OCR』的方式处理，比如。
复制链接

扫一扫

如何使用Python实现图像文字识别OCR

03-18

通过Python实现票据、漫画、扫描件、照片的文本提取，该资源用于快速实现图片中文本区域自动检测+文本自动识别。所有框选区域为OCR算法自动检测，右侧列表有每个框对应的文字内容；点击右侧“识别结果”中的文本记录...

《uiautomator---解决找不到控件问题》---部分

IT痴者

04-15

1441

手动将文件导出，添加到软件中进行查看。 #!/bin/sh builddate=`date '+%Y%m%d%H%M'` adb shell uiautomator dump /sdcard/app.uix adb pull /sdcard/app.uix ./app${builddate}.uix #存到E盘的app.uix文件中，在E盘新建一个文本文档改成app.uix adb shell...

参与评论您还未登录，请先登录后发表或查看评论

Python uiautomator2 基于图像识别操作的核心代码封装类

HRD的博客

03-20

1101

Python uiautomator2 基于图像识别操作的核心代码封装类。

使用uiautomator2自动化测试app(四)------实战篇2

塔克米的博客

07-24

7634

在做自动化测试的时候, 千万千万要多多的测试, 重要的事情说三遍!~~~~~~ 1. 当使用d(resourceId)或者其他d(什么)找不到这个点或者找的点不太精准的时候, 可以使用className, 在下面的这部分可以找到当你点击左侧代码栏的时候, 设备显示页面会显示出你所点的位置的对应位置, 会用框框标记起来. 然后, 找元素的时候就可以找网页元素一样(当然, 有些点可能不会显...

【AI自动化】利用OCR图片文本识别做自动化 -- APP篇

Kahoku 的博客

01-19

572

结合OCR图片文本识别与Uiautomator2图片点击的方法进行appUI自动化"""@function: 结合OCR文字识别AI模型与Uiautomator2的图片点击方法实现绕过定位元素, 通过文字、图片做APP UI自动化。@ |- OCR模型: CnOcr;|- Uiautomator2 图片点击环境安装如下|- Uiautomator2 图片核心功能|- 获取图片的坐标位置与匹配的相似度: img_dict = device.image.match(image)

使用uiautomatorviewer捕捉app元素

weixin_43555427的博客

09-19

290

使用uiautomatorviewer捕捉app元素 1、打开夜神模拟器，夜神模拟器连接adb 2、打开adt、sdk、tools目录下的uiautomatorviewer.bat 3、虚拟机中打开app 4、点击uiautomatorviewer中的Screenshot按钮 5、鼠标点击到要获取的元素，右侧查看元素的相关信息 ...

安卓自动化工具程序设计之[识别区域提取] python + uiautomator2 + Open CV

紫夜君的博客

05-26

1300

安卓自动化工具程序设计之[识别区域提取] 基于python + uiautomator2 + Open CV 用于快速制作用于精确控制的key图像

Uiautomaotr2 如何识别文字Tab选中态

goudandanddd的博客

07-05

175

可以跟前面使用相同步骤，只是保留的颜色需要保留选中框的颜色，也就是灰色，只保留灰色以后，中间的文字就会被去掉，变成黑色，可以使用OCR识别；比如此时百度app的tab被选中，可以获取 selected属性，true为被选中，false为未被选中。可以使用 opencv对屏幕图片做图像处理后，使用OCR判断哪个tab被选中。因为没有高亮的文字颜色，所以不能选择保留文字的颜色；（放百度app的weditor截图会违规被删）比如：下方首页tab的白色高亮；

Android appium测试找不到组件问题

m0_37828249的博客

05-22

835

刚入坑Android测试，跋山涉水终于配好了所有环境但是滑动屏幕和点击按钮却莫名其妙报错，总之就是没有获取到组件。其实，问题很简单，执行到测试代码时，uiautomator还没来得及获取到该页面，所以解决方法也很简单：Thread.sleep适当的时间（根据该页内容加载的速度来定）即可。...

UIAutomator2.0详解（UIDevice篇----获取控件）

最新发布

04-23

在本项目中，我们主要探讨如何使用Python、OpenCV库以及PyQt5框架来实现一系列高级的图像处理任务。OpenCV是一个强大的计算机视觉库，它提供了丰富的功能，用于图像和视频处理，包括图像分析、特征提取、人脸识别和...

Python+pyqt5+PIL+批量图像处理.rar

04-18

在本项目中，我们主要探讨的是如何利用Python的PyQt5库构建图形用户界面（GUI），结合PIL（Python Imaging Library）库实现批量图像处理，包括重命名和添加水印的功能。这是一份非常适合初学者的实践教程，因为它...

python+pyqt5+matlibplot等实现数据处理桌面级应用小程序

04-22

标题中的“python+pyqt5+matlibplot等实现数据处理桌面级应用小程序”揭示了这个项目是使用Python编程语言，结合PyQt5图形用户界面库以及Matplotlib数据可视化库来开发的一个桌面应用程序。这样的应用通常用于处理和...

uiautomator2：Android Uiautomator2 Python包装器

02-05

突然插入的招聘：现有作者的组里（阿里巴巴淘宝质量部：坐标杭州西溪园区）招聘（HIRE）具体内容这里可以看到是Google提供的用来做安卓自动化测试的一个Java库，基于Accessibility服务。功能很强，可以对第三方App...

UiAutomator——点击难以识别的控件技巧

LangSand的博客

05-18

1万+

有时候我们使用UiAutomator在查找元素的时候，发现明明元素在UiAutomator view工具中能够识别出，但是使用代码去识别的时候，却发现该元素 UiObjectNotFoundException，是偶然出现的，但是这些就够让我们的测试代码的容错性大大降低，给别人展示的时候，人家看到的是结果，发现时不时的出现错误，那就给人的影响是————你还没做好。其实有些元素真的出现该现象的话

csdn最详细最牛逼的阿里最新app自动化测试---自动化测试框架搭建

分享测试知识

03-21

4183

不是所有人都能看懂这篇文章

python使用uiautomator2操作雷电模拟器9找图（二）

kxltsuperr的专栏

04-11

292

实际中还有情况，比如这些子图在一屏中显示不全，需要上划手机屏幕，不断的出现，这时上面的代码就要结合uiautomator2的操作。今天在实际中有遇到了新的问题：一幅主图中，可能存在多个相同的子图，想要找到所有的子图，并操作。其中，0.5为指定方向滑动百分之多少，为float型数据，数据范围是：0.01 到 0.999。使用一个while循环，将上述两段代码结合起来，直到符合某种条件，break退出循环，就可以了。上代码，主要就是用find_all_template代替了find_template。

python3+uiautomator2实现POM（微信小程序自动化测试）QQ群交流 822659419

默金

04-18

4188

在网上看的各种SeleniumPOM-框架，找来找去没有uiautomator2的POM，所以决定写一个uiautomator2的POM。先介绍下什么是POM（摘抄） Python中的单元测试框架unittest，以后我们所有的测试类文件，都采用unittest来辅助我们进行debug和脚本开发。搞定了debug机制和确定了unittest来进行创建和管理我们的自动化测试脚本，接下来我们来考虑下......

uiautomator2如何获取控件的文本值

05-25

使用uiautomator2获取控件的文本值可以通过以下步骤实现: 1. 导入uiautomator2库 ```python from uiautomator2 import * ``` 2. 连接到设备 ```python d = u2.connect('设备序列号') ``` 3. 获取控件 ```python element = d(resourceId="控件的resource-id") ``` 4. 获取控件的文本值 ```python text = element.get_text() ``` 其中，`resourceId`是控件的唯一标识符，可以通过uiautomator viewer工具来获取。`get_text()`方法可以获取控件的文本值。完整代码示例： ```python from uiautomator2 import * d = u2.connect('设备序列号') element = d(resourceId="控件的resource-id") text = element.get_text() print(text) ```