目前接触的自动化测试的库主要有两种:1、selenium 2、win32gui
1、selenium:用来操作浏览器,获取网页信息
2、win32gui、win32api、win32con加上句柄获取工具(spy++等)用来操作非浏览器软件,但并非所有软件的所有控件都能获取得到句柄
对于那些无法识别句柄的按钮,我目前采用的办法是,寻找整个控件的句柄,然后通过打印控件坐标找到此控件的坐标,再用win32gui模拟鼠标点击的方式操作。
def mouse_left_click(button): #鼠标移动到元素位置,点击鼠标左键
left, top, right, bottom = win32gui.GetWindowRect(button) #获取按钮句柄的坐标
#print(left,top,right,bottom)
win32api.SetCursorPos((left+5,top+5)) #设置鼠标位置
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 0, 0, 0, 0) #按住鼠标左键
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 0, 0, 0, 0) #释放鼠标左键
button通过以下方法获得句柄:
button=win32gui.FindWindow('Button',u'开始')
其中'Button'为类名,‘开始’为标题(无标题则为None),均可在spy++中查看。
若button上有父窗体,如下图TrayNotifyWnd窗口
则用以下方法获取句柄:
dialog1=win32gui.FindWindow('Shell_TrayWnd',None)
dialog2=win32gui.FindWindowEx(dialog1,0,'TrayNotifyWnd',None)
若是有多个同类窗口,则需要用到以下函数获取:
# 已知子窗口的窗体类名,窗口名,寻找第index号个同类型的兄弟窗口
def find_idxSubHandle(pHandle, winClass, index):
# assert type(index)==int and index>=0 #assert断言,错误时报错
handle = win32gui.FindWindowEx(pHandle, 0, winClass, None)
while index >= 0:
handle = win32gui.FindWindowEx(pHandle, handle, winClass, None)
index -= 1
#print('%x' % handle)
return handle
其中pHandle为父窗口句柄,winClass为类名,index为需要查找的窗口号,窗口号可能不准,可以通过print('%x' % handle)打印句柄查看是否是需要的句柄,若不是则修改index。
对于那些无法用spy++识别句柄的文本框,目前我所使用的方法是调用windows api对文本框截图在使用pytesseract进行OCR(图像文字识别)。
import win32gui,win32con,win32api,win32ui
def window_capture(filename): #窗口截图
dialog = win32gui.FindWindow('VanDyke Software - SecureCRT', None) # 对话框
child_dialog = win32gui.FindWindowEx(dialog, 0, 'AfxFrameOrView80u', None)
#left, top, right, bottom = win32gui.GetWindowRect(child_dialog ) #获取按钮句柄的坐标
#print(left, top, right, bottom)
hwnd = child_dialog # 窗口的编号,0号表示当前活跃窗口
# 根据窗口句柄获取窗口的设备上下文DC(Divice Context)
hwndDC = win32gui.GetWindowDC(hwnd)
# 根据窗口的DC获取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC创建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 创建bigmap准备保存图片
saveBitMap = win32ui.CreateBitmap()
# 获取监控器信息
MoniterDev = win32api.EnumDisplayMonitors(None, None)
w = MoniterDev[0][2][2]
h = MoniterDev[0][2][3]
# print w,h #图片大小
# 为bitmap开辟空间
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC,将截图保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取从左上角(0,0)长宽为(w,h)的图片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
以上函数用来截取控件图片,并保存图片。
import pytesseract
text = pytesseract.image_to_string(Image.open(r'.\picture.jpg'))
以上函数用来识别图片中文字。使用pytesseract前需要先
下载tesseract:https://digi.bib.uni-mannheim.de/tesseract/tesseract-ocr-w64-setup-v4.0.0-beta.1.20180414.exe,并将其安装目录加入环境变量,然后再 pip install pytesseract 进行安装。