Pywinauto 快速学习指南

Pywinauto 技术指南

一、基础概念

（一）控件（Widgets）

在 Windows 应用程序中，控件是用户界面的基本组成部分，如按钮、文本框、下拉列表等。Pywinauto 提供了方法来识别和操作这些控件。

（二）应用程序（Applications）

代表正在运行的 Windows 应用程序。可以使用 Pywinauto 启动、连接和操作应用程序。

（三）窗口（Windows）

应用程序中的窗口是用户与之交互的界面。可以通过窗口的标题、类名等属性来识别和操作窗口。

（四）容器（Containers）

容器可以是窗口或其他包含控件的对象。容器提供了一种方式来组织和管理多个控件。

（五）控件标识（Control Identifiers）

用于唯一标识控件的属性组合，如窗口标题、类名、控件的文本等。

二、环境搭建

（一）安装 Python

1. 从 Python 官方网站下载适合你操作系统的安装程序。

2. 运行安装程序，按照提示进行安装。

（二）安装 pywinauto 库

在命令提示符或终端中运行以下命令：

pip install pywinauto

（三）配置环境变量（可选）

一般情况下，安装 Python 和 pywinauto 库后无需配置环境变量。但如果在使用过程中出现问题，可以检查环境变量是否正确设置。

三、核心模块

（一）application 模块

1. 用于启动、连接和操作应用程序：

   • 启动应用程序：Application().start("application_path.exe")。

   • 连接到已运行的应用程序：Application().connect(path="application_path.exe", title="application_title")。

（二）controls 模块

1. 提供对控件的通用操作方法：

   • 获取控件属性：例如，获取按钮的文本可以使用button.text()。

四、控件操作

（一）查找控件

1. 通过窗口标题和类名查找窗口，然后在窗口中查找控件：

   from pywinauto.application import Application
   ​
   app = Application().connect(title="Window Title", class_name="Window Class")
   button = app.window(title="Window Title").child_window(title="Button Title", class_name="Button Class")

（二）操作控件

1. 点击控件：button.click()。

2. 输入文本：对于文本框，可以使用textbox.type_keys("text to input")。

3. 选择：对于下拉列表，可以使用combobox.select("option to select")。

（三）获取控件属性

1. 获取文本：button.text()。

2. 获取状态：button.enabled()。

3. 获取位置：button.rectangle()。

（四）控件方法

1. 拖拽：button.drag_mouse_input(destination_coords)。

2. 滚动：对于可滚动的控件，可以使用scrollbar.scroll(direction)。

五、控件封装

（一）封装通用控件

1. 可以创建类来封装常见的控件，如窗口、按钮、文本框等，以便更方便地进行操作。

   class MyWindow:
       def __init__(self, app):
           self.app = app
           self.window = app.window(title="Window Title", class_name="Window Class")
   ​
       def click_button(self, button_title):
           button = self.window.child_window(title=button_title, class_name="Button Class")
           button.click()

（二）自定义控件封装

1. 根据特定应用程序的需求，可以创建自定义的控件封装类。

六、容器和对话框

（一）操作对话框

1. 可以像操作普通窗口一样操作对话框。

   dialog = app.window(title="Dialog Title", class_name="Dialog Class")
   dialog.child_window(title="OK Button", class_name="Button Class").click()

（二）处理多窗口和子窗口

1. 使用Application().connect连接到多个窗口，并在不同窗口之间切换操作。

2. 对于子窗口，可以通过父窗口的child_window方法来查找。

（三）容器中控件的遍历

1. 可以使用循环遍历容器中的控件，以查找特定的控件或执行操作。

   for control in container.children():
       if control.class_name == "Button Class":
           control.click()

七、键盘和鼠标操作

（一）模拟键盘输入

1. 使用type_keys方法模拟键盘输入：

   app.window().type_keys("Hello World!")

（二）模拟鼠标点击、拖拽、滚动等操作

1. 点击：app.window().click_input(coords=(x, y))。

2. 拖拽：app.window().drag_mouse_input(start_coords=(x1, y1), end_coords=(x2, y2))。

3. 滚动：app.window().scroll(direction='up' or 'down')。

八、脚本编写技巧

（一）使用断言进行测试

1. 可以使用 Python 的断言来验证应用程序的状态。

   assert button.text() == "Expected Text"

（二）异常处理

1. 使用try-except块来处理可能出现的异常。

   try:
       button.click()
   except Exception as e:
       print(f"An error occurred: {e}")

（三）脚本调试

1. 可以使用 Python 的调试工具，如pdb或在代码中插入打印语句来调试脚本。

九、进阶功能

（一）数据驱动测试

1. 可以使用外部数据文件（如 CSV、Excel）来驱动测试脚本。

   import csv
   ​
   with open('data.csv', 'r') as file:
       reader = csv.reader(file)
       for row in reader:
           textbox.type_keys(row[0])
           button.click()

（二）图像识别（结合第三方库如 OpenCV）

1. 使用 OpenCV 等图像识别库与 Pywinauto 结合，可以通过识别图像来操作应用程序。

   import cv2
   from pywinauto import Desktop
   ​
   desktop = Desktop(backend="uia")
   window = desktop.window(title="Window Title")
   ​
   # 使用 OpenCV 识别图像在窗口中的位置
   image = cv2.imread("image_to_recognize.png")
   template = cv2.imread("template_image.png")
   result = cv2.matchTemplate(image, template, cv2.TM_CCOEFF_NORMED)
   min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
   ​
   # 在窗口中点击识别到的位置
   window.click_input(coords=(max_loc[0], max_loc[1]))

（三）与其他自动化工具（如 Selenium）结合使用

1. 可以在测试中结合 Selenium 进行 Web 自动化测试和 Pywinauto 进行桌面应用程序自动化测试。

   from selenium import webdriver
   from pywinauto.application import Application
   ​
   # 使用 Selenium 操作 Web 页面
   driver = webdriver.Chrome()
   driver.get("https://example.com")
   ​
   # 使用 Pywinauto 操作桌面应用程序
   app = Application().start("application_path.exe")
   button = app.window(title="Window Title").child_window(title="Button Title", class_name="Button Class")
   button.click()

（四）性能优化

1. 控件缓存：缓存常用的控件对象，避免重复查找，提高性能。

   button = None
   ​
   def click_button():
       global button
       if button is None:
           button = app.window(title="Window Title").child_window(title="Button Title", class_name="Button Class")
       button.click()

2. 批量操作：如果需要对多个控件进行相同的操作，可以考虑批量执行，减少重复代码。

十、实践案例

（一）自动化办公软件（如 Excel、Word）

1. 使用 Pywinauto 可以自动化操作 Microsoft Excel 和 Word 等办公软件。

   • Excel：

     from pywinauto.application import Application
     ​
     app = Application().start("excel.exe")
     workbook = app.window(title="Book1 - Excel").child_window(class_name="XLMAIN")
     ​
     # 选择单元格并输入文本
     workbook.child_window(title="Sheet1", class_name="EXCEL7").type_keys("A1").type_keys("Hello Excel!")

   • Word：

     app = Application().start("winword.exe")
     document = app.window(title="Document1 - Word").child_window(class_name="OpusApp")
     ​
     # 输入文本
     document.type_keys("Hello Word!")

（二）自动化桌面应用程序

1. 假设一个自定义的桌面应用程序，有按钮、文本框等控件，可以使用 Pywinauto 进行自动化操作。

   app = Application().start("custom_app.exe")
   button = app.window(title="Custom App Window").child_window(title="Click Me", class_name="Button Class")
   button.click()
   ​
   textbox = app.window(title="Custom App Window").child_window(title="Input Text", class_name="Edit Class")
   textbox.type_keys("Automated Input")

通过以上内容，你可以了解 Pywinauto 的基本概念、安装和使用方法，以及一些进阶功能和实践案例，帮助你在 Windows 应用程序自动化方面更加得心应手。