https://www.jianshu.com/p/be3c46c7a905
uiautomation模块学习笔记
前段时间,由于个人需要,在网上查找了一些关于Windows平台下自动化测试的资料,最后找到了一款相当不错的Python模块:uiautomation,直接pip install uiautomation即可方便地获取这个模块。在学习这个模块的同时,记些笔记,方便自己以后查阅,也方便大家翻阅。
0x00 概述
这个库在Github上是开源的,地址:https://github.com/yinkaisheng/Python-UIAutomation-for-Windows
而且作者是一名中国人,还是南京人,让我感觉十分亲切。
这个库可以说是十分贴合实际,在Windows平台下,绝大部分软件都要遵循Windows的规范,也就是说窗口啊,句柄啊、控件啊这些东西,都是通用的,Windows向外提供了这些接口。先感谢一下yinkaisheng,他的工作就是进一步给这些接口做了整合,给Python的开发者提供了接口。这极大地方便了想要用Python开发自动化测试程序的人。
0x01 作者的readme文档
- 这个模块是基于Windows的UIA技术实现的,系统最低需要WindowsXP SP3,支持MFC、WinForm、WPF、Metro UI(从Windows8开始Windows系统开发的一种新的窗口)、Qt和火狐,也就是说基于.Net技术的所有Windows窗体程序都支持,而其他的软件,比如基于DirectUI开发的,这个模块可能难以获取到其中的信息。
- 作者将这个模块开源了,基于Apache2.0,这以为着源代码可以任意复制,修改,使用以及再发布,赞!
- 安装方法很简单,在已有Python和pypi环境的电脑上运行
pip install uiautomation
即可安装,并且主程序automation.py也会自动复制到Python的Scripts文件夹下。 - 同时作者也提供了C++ dll的源码,但是在这里就不去涉及了。可以看出作者是名十分敬业的开发人员!
-
可以简单运行一下automation.py,直接运行的效果就是3秒后遍历当前活动窗口的所有控件。对QQ运行的效果:
可见效果十分明显,窗口内的控件信息全部都显示出来了,包括控件类型,控件的名称,控件的位置(以像素为单位),句柄,控件树深度等。同时,所有信息会保存到当前目录下的@AutomationLog.txt文件中,方便查阅。
- 作者提供了一个Demo,用于控制记事本程序:
import subprocess
import uiautomation as automation
print(automation.GetRootControl())
subprocess.Popen('notepad.exe') notepadWindow = automation.WindowControl(searchDepth = 1, ClassName = 'Notepad') print(notepadWindow.Name) notepadWindow.SetTopmost(True) edit = notepadWindow.EditControl() edit.SetValue('Hello') edit.SendKeys('{Ctrl}{End}{Enter}World')
GetRootControl()方法将返回根控件,也就是整个Windows可视化的桌面(这么理解没错吧)
WindowControl(searchDepth=1,ClassName='Notepad')方法将创建一个WindowsControl对象,参数的作用是细化如何找到我们想要的控件,可用的参数有searchFromControl=None,searchDepth=0xFFFFFFF,searchWaitTime=SEARCH_INTERVAL,foundIndex=1,Name,SubName,ClassName,Depth等,可以去源码下的Control类的初始化方法init看一下这些参数怎么用。
-
接下来作者介绍了一个小工具Inspect.exe,这个工具是微软提供的,可以用来探测UI的内容,这个程序自动集成在微软的Windows SDK中,我电脑上正好安装了Visual Studio和Windows SDK,应该可以找到这个程序。果然在工具集中找到了这个程序:
可以看到使用效果非常好,窗口的构造一目了然!
-
最后作者放了一些自己使用该模块的截图,可以看到,功能十分强大:
0x02 简单了解实现原理
作者在readme文档中外链了一篇博文,简单介绍了实现原理,为了能更好地掌握这个库的使用,这篇原理我也简单的学习一下。(原文链接)
在最早的Windows开发中是没有自动化测试的概念的。1997年微软在操作系统中集成了MASS(Microsoft Active Accessibility)组件,但是微软开发MASS组件的初衷并不是为了自动化测试,而是提供了一套接口,让开发者们可以方便的开发残疾人士辅助软件,比如读屏软件等。伴随着自动化测试的应用越来越广泛,微软正视了自动化测试的需求,在MASS的基础上,对其重新封装设计并实现了UIAutomation的类库(.NET)。从Win7系统开始的后续Windows操作系统都整合了Windows Automation API的所有功能。作者在阅读了MSDN上的《UI Automation Client Programmer's Guide》和CodeMagazine上的《Creating UI Automation Client Applications》两篇文章后,用Python和C++对UIAutomation做了一层简单的封装,方便了想要用Python开发自动化测试应用而对.Net平台又不太熟悉的人,比如我。
0x03 API学习摘要
之前也已经提到,这个模块是作者对UIA用C++和Python简单的做了一层封装,只要能理解面向对象编程,学习难度也不是很大。正好,我在作者的CSDN博客里面找到了作者使用此模块的实例(原文链接),就以此为学习的入口,代码如下:
#!python3
# -*- coding: utf-8 -*-
"""
本脚本可以获取QQ2017(v8.9.4)群所有成员详细资料,请根据提示做对应的操作
作者:yinkaisheng@foxmail.com
"""
import time import uiautomation as automation def GetPersonDetail(): detailWindow = automation.WindowControl(searchDepth= 1, ClassName = 'TXGuiFoundation', SubName = '的资料') details = '' for control, depth in automation.WalkControl(detailWindow): if isinstance(control, automation.EditControl): details += control.Name + control.CurrentValue() + '\n' details += '\n' * 2 detailWindow.Click(-10, 10) return details def main(): automation.Logger.WriteLine('请把鼠标放在QQ群聊天窗口中的一个成员上面,3秒后获取\n') time.sleep(3) listItem = automation.ControlFromCursor() if listItem.ControlType != automation.ControlType.ListItemControl: automation.Logger.WriteLine('没有放在群成员上面,程序退出!') return consoleWindow = automation.GetConsoleWindow() if consoleWindow: consoleWindow.SetActive() qqWindow = listItem.GetTopWindow() list = listItem.GetParentControl() allListItems = list.GetChildren() for listItem in allListItems: automation.Logger.WriteLine(listItem.Name) answer = input('是否获取详细信息?按y和Enter继续\n') if answer.lower() == 'y': automation.Logger.WriteLine('\n3秒后开始获取QQ群成员详细资料,您可以一直按住F10键暂停脚本') time.sleep(3) qqWindow.SetActive() #确保群里第一个成员可见在最上面 left, top, right, bottom = list.BoundingRectangle while allListItems[0].BoundingRectangle[1] < top: automation.Win32API.MouseClick(right - 5, top + 20) for listItem in allListItems: if listItem.ControlType == automation.ControlType.ListItemControl: if automation.Win32API.IsKeyPressed(automation.Keys.VK_F10): if consoleWindow: consoleWindow.SetActive() input('\n您暂停了脚本,按Enter继续\n') qqWindow.SetActive() listItem.RightClick() menu = automation.MenuControl(searchDepth= 1, ClassName = 'TXGuiFoundation') menuItems = menu.GetChildren() for menuItem in menuItems: if menuItem.Name == '查看资料': menuItem.Click() break automation.Logger.WriteLine(listItem.Name, automation.ConsoleColor.Green) automation.Logger.WriteLine(GetPersonDetail()) listItem.Click() automation.SendKeys('{Down}') if __name__ == '__main__': main() input('press Enter to exit')
我用的环境是Pycharm2017.2社区版和Python3.6,这个模块的内容主要集中在uiautomation.py文件中,学习方法就是去这个文件里看相关的代码。先简单看一下这个代码,看看里面有哪些看不懂的,看不懂的地方就是要学习的地方。
首先是automation.WindowControl,这看起来是个对象,但是还不知道这个对象有哪些方法和属性,下面的WalkControl和EditControl应该也是对象,从命名上看可能直接代表了窗体中的不同控件。control.CurrentValue应该是属性,下面的detailWindow.Click()应该是模拟鼠标点击的方法。再看main()函数,Logger.WriteLine()方法应该是跟日志有关,ControlFromCursor()可能是从鼠标获取控件的方法......
这样看一遍大概就知道应该去源码里面找哪些定义了,我们利用PyCharm的跳转定义功能可以很容易地找到定义这些类和方法的代码,都在uiautomation.py这个文件中。源码就不贴了,通过跳转功能可以很容易地理解其中的方法与类之间的逻辑关系。这个文件中主要定义了“控件”这个类,就是两千多行处的Class Control(.............):这一大段代码,里面包含了所有对控件的方法和基本的属性。方法有获取控件名称啊,内容啊等,属性有位置啊,是否Active啊这些。然后由Control类派生出各个子类,代表具体的各种控件,比如WindowControl类表示窗口,EditControl类表示输入框,ButtonControl类代表按钮等等,几乎涵盖所有Win窗体程序的所有控件。并且作者在很多类下面做了详细的注释,阅读起来应该没有什么困难。理解的难点应该是这里面有大量关于WinForm开发的知识,需要一点基础。
那么当我们将这些方法与类的定义搞清楚之后,我们就能读懂这个实例的功能了。通过组合运用各个空间的属性和方法,实现从QQ群窗口中获得QQ群的信息。包括群号、群成员信息、聊天记录等信息,并保存到文本文件。
0x04 后记
- 果然多看,多写才是提升实力的根本途径,教材看一百遍不如自己摸索一遍!
- Life is short,use Python!
作者:8f7aac77586a
链接:https://www.jianshu.com/p/be3c46c7a905
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。