python+uiautomator2 UI自动化
uiautomator2 是一个可以使用Python对Android设备进行UI自动化的库。
其底层基于Google uiautomator,Google提供的uiautomator库可以获取屏幕上任意一个APP的任意一个控件属性,模拟认为点击,滑动,输入等操作!
一、github地址
GitHub地址:https://github.com/openatx/uiautomator2
二、版本要求
python3.4以上
安卓4.4以上
三、安装
- python自行安装配置环境
- 安装uiautomator2
pip install --pre uiautomator2
pip install pillow
四、安装adb
adb自行安装配置环境
五、初始化
配置手机设备参数:
有两种方法,一种是通过WIFI,另一种是通过USB数据线将手机连接电脑。
WiFi连接更方便一点,需要保持PC和手机使用的一个WIFI,查看手机连接WIFI的IP地址。
adb devices #查看设备名称
python -m uiautomator2 init #uiautomator2初始化
初始化完成移动会多出一个uiautomator的应用。
六、代码连接测试
import uiautomator2 as u2
d = u2.connect('127.0.0.1::6555')
print(d.info)
打印结果:
{'currentPackageName': 'com.android.launcher', 'displayHeight': 1280, 'displayRotation': 1, 'displaySizeDpX': 360, 'displaySizeDpY': 640, 'displayWidth': 720, 'productName': 'DUK-AL20', 'screenOn': True, 'sdkInt': 23, 'naturalOrientation': False}
七、元素定位
一定要使用线连接
(1)、安装:
pip install --pre --upgrade weditor
(2)、使用
python -m weditor
(3)、工具打开
默认会通过浏览器打开页面:http://atx.open.netease.com/
(4)工具的操作步骤
选择android、输入手机或者模拟器的ip+端口,点击connect
dump hierarchy是用来刷新页面的
鼠标点击想要的元素,就可以查看他们的控件了
八、主要语法
- 主要语法
(1)启动app
d.app_start("com.android.yinyue")
(2)关闭app
cls.d.app_stop("com.android.yinyue")
(3)ResourceId定位
cls.d(resourceId="com.android.yinyue:id/ad_banner").click()
(4)Text定位
d(text="精选").click()
(5)Description定位
d(description="..").click()
(6)ClassName定位
d(className="android.widget.TextView").click()
(7)xpath定位
d.xpath("//*[@content-desc='分享']").click()
2、其他操作
(1)#组默认元素等待超时(秒)
cls.d.wait_timeout = 20.0 #默认20
(2)元素拖拽
(3)开关点击
d(A).left(B), selects B on the left side of A.
d(A).right(B), selects B on the right side of A.
d(A).up(B), selects B above A.
d(A).down(B), selects B under A.
例如:
#选择“Wi-Fi”右侧的“开关”
d(text="Wi‑Fi").right(className="android.widget.Switch").click()
(4)获取/统计某个相同条件的数目
d(text="Add new").count
或者
len(d(text="Add new"))
得知数目之后,我们可以通过索引去定位
d(text="Add new")[0]
d(text="Add new")[1]
也可以遍历
for view in d(text="Add new"):
view.info
(5)截图
#截取屏幕截图并保存到计算机上的文件中,要求Android> = 4.2。
d.screenshot( “ home.jpg ”) # get PIL.Image格式化图像。当然,你需要首先安装pillow
image = d.screenshot() # default format =“pillow”
image.save( “ home.jpg ”)#或home.png。目前,只有PNG和JPG支持
#得到OpenCV的格式图像。当然,你需要先安装numpy和cv2
import cv2
image = d.screenshot( format = ' opencv') cv2.imwrite( ' home.jpg '图像)#获取原始JPEG数据 imagebin = d.screenshot(格式= '原始') 打开( “ some.jpg ”, “ WB ”).WRITE(imagebin)
(6)手势操作
1、单击
d( text = “ Settings ”).click()
2、长按
d( text = “ Settings ”).long_click()
3、将对象拖向另一个点或另一个UI对象
#笔记:拖不能用于为Android <4.3。
#将UI对象拖动到屏幕点(x,y),0.5秒后
d( text = “设置”).drag_to(x,y, duration = 0.5)
#将UI对象拖动到另一个(中心位置) UI对象,在0.25秒
d( text = “设置”).drag_to( text = “ Clock ”, duration = 0.25)
4、在屏幕上滑动
# swipe from (sx, sy) to (ex, ey)
d.swipe(sx, sy, ex, ey)
# swipe from (sx, sy) to (ex, ey) with 10 steps
d.swipe(sx, sy, ex, ey, steps=10)
5、在屏幕上拖拽
# drag from (sx, sy) to (ex, ey)
d.drag(sx, sy, ex, ey)
# drag from (sx, sy) to (ex, ey) with 10 steps
d.drag(sx, sy, ex, ey, steps=10)
(7)获取对象信息和状态
1、d(text="Settings").exists
#如果存在则为True,否则为假
or d.exists(text="Settings") # 进一步使用 d(text="Settings").exists(timeout=3)
# 等待设置出现在3S,相同.wait(3)
2、检索特定UI对象的信息
d(text="Settings").info
3、获取/设置/清除可编辑字段的文本(例如,EditText小部件)
d(text = “ Settings ”).get_text() # get widget text
d(text = “ Settings ”).set_text(“ My text ... ”) #设置文本
d(text = “ Settings ”).clear_text( ) #清除文字、
(8)系统常用按键
# press home key
d.press.home()
# press back key
d.press.back()
# the normal way to press back key
d.press("back")----亲测可用
# press keycode 0x07('0') with META ALT(0x02) on
d.press(0x07, 0x02)
home #手机Home键
back #手机返回键
left #对应键盘上的向右键<-
right #对应键盘上的向右键->
up #对应键盘上的向上键
down #对应键盘上的向下键
center #选中?
menu #菜单
search #查找?
enter #对应键盘上的Enter键
delete(or del) #对应键盘上的DEL键 用于删除
recent(recent apps) #任务切换
volume_up #声音向上调整
volume_down #声音向下调整
volume_mute #静音按键
camera #拍照
power #电源键
九、使用经验
1、使用前初始化
python -m uiautomator2 init
2、打开工具
python -m weditor
-
因为UIAutomator2的api-UIObject里面不支持获取组件属性isCheckable(),isChecked(),isClickable()…等等
-
但是UIAutomator2 支持回去全部的属性d.info,并返回一个字典值,例子:
flag = d(resourceId = ‘com.gtk.watch.settings:id/ct_hour_type’).info[‘checked’]
这句代码的意思是指:获取这个组件的所有信息,并获取这个组件是否被选中了,如果选中了就返回True,否则就返回False,
1.判断按钮状态
if d(resourceId=“id”,enabled=False): #判断当前按钮是否为未激活状态,为True则为激活状态
2.获取toast提示语
d.toast.get_message(5.0, default="")
3. 获取元素的属性
ele = d(resourceId=“id”) ele.info ele.info[""enabled] ele.info[“checked”]
移动端UI自动化一定要结合图像识别:https://blog.csdn.net/huage926/article/details/115298887?spm=1001.2014.3001.5501