文章目录
1. PyAutoGUI安装
pyautogui 模块包含了一些函数,可以让你的Python脚本控制鼠标移动、按键和滚动鼠标滚轮。
window上直接运行pip install pyautogui
即可安装PyAutoGUI模块。
2. 程序失去控制时如何终止程序
如果你的程序出了问题,程序可能失去控制,但你的程序继续到处移动鼠标,停止它可能很难,所以需要有方法来强制停止程序。
-
通过注销关闭所有程序
停止失去控制的 GUI 自动化程序,最简单的方法可能是注销,在 Windows 和 Linux 上,注销的热键是Ctrl-Alt-Del
。 -
将鼠标移动到屏幕左上角,故意触发异常
pyautogui
也有自动防故障功能,如果你尽可能快地向左上移动鼠标,自动防故障功能都将停止程序。即如果将鼠标移到屏幕的左上角,将导致pyautogui
产生pyautogui .FailSafeException
异常,终止程序。
>>> import pyautogui
>>> pyautogui.PAUSE = 1
>>> pyautogui.FAILSAFE = True
这里我们导入 pyautogui
,并将 pyautogui.PAUSE
设置为 1,即每次函数调用后暂停一秒。将 pyautogui.FAILSAFE
设置为 True
,启动自动防故障功能。
3. 控制鼠标移动
pyautogui 的鼠标函数使用 x、y 坐标,下图中展示了计算机屏幕的坐标系统。原点的 x、y 都是零,在屏幕的左上角。向右 x 坐标增加,向下 y 坐标增加。所有坐标都是正整数,没有负数坐标。
分辨率是屏幕的宽和高有多少像素。如果屏幕的分辨率设置为 1920 ×1080,那么左上角的坐标是(0,0),右下角的坐标是(1919,1079)。
pyautogui.size()
函数返回两个整数的元组,包含屏幕的宽和高的像素数:
>>> import pyautogui
>>> pyautogui.size()
(1920, 1080)
>>> width, height = pyautogui.size()
3.1 移动鼠标
pyautogui.moveTo()
函数将鼠标立即移动到屏幕的指定位置。表示 x、y 坐标的整数值分别构成了函数的第一个和第二个参数。可选的 duration
整数或浮点数关键字参数,指定了将鼠标移到目的位置所需的秒数。如果不指定,默认值是零,表示立即移动:
>>> import pyautogui
>>> for i in range(10):
pyautogui.moveTo(100, 100, duration=0.25)
pyautogui.moveTo(200, 100, duration=0.25)
pyautogui.moveTo(200, 200, duration=0.25)
pyautogui.moveTo(100, 200, duration=0.25)
pyautogui.moveRel()
函数相对于当前的位置移动鼠标。下面的例子以正方形的模式移动鼠标,只是它从鼠标当前所在的位置开始,按正方形移动:
>>> import pyautogui
>>> for i in range(10):
pyautogui.moveRel(100, 0, duration=0.25)
pyautogui.moveRel(0, 100, duration=0.25)
pyautogui.moveRel(-100, 0, duration=0.25)
pyautogui.moveRel(0, -100, duration=0.25)
3.2 获取鼠标位置
通过调用 pyautogui.position()
函数,可以确定鼠标当前的位置。它将返回函数调用时,鼠标 x、y 坐标的元组:
>>> pyautogui.position()
(311, 622)
>>> pyautogui.position()
(377, 481)
>>> pyautogui.position()
(1536, 637)
4. 控制鼠标交互
4.1 点击鼠标
要向计算机发送虚拟的鼠标点击,就调用 pyautogui.click()
方法。默认情况下,点击将使用鼠标左键,点击发生在鼠标当前所在位置。如果希望点击在鼠标当前位置以外的地方发生,可以传入 x、y 坐标作为可选的第一第二参数。
如果想指定鼠标按键,就加入 button
关键字参数,值分别为 'left'
、'middle'
或 'right'
。例如,pyautogui.click(100,150,button='left')
将在坐标(100,150)处点击鼠标左键。而 pyautogui.click(200,250,button='right')
将在坐标(200,250)处点击右键。
>>> import pyautogui
>>> pyautogui.click(10, 5)
另外,pyautogui.doubleClick()
函 数执 行 双 击 鼠 标 左 键 。pyautogui.rightClick()
和 pyautogui.middleClick()
函数将分别执行双击右键和双击中键。
4.2 拖动鼠标
“拖动”意味着移动鼠标,同时按住一个按键不放。PyAutoGUI 提供了 pyautogui.dragTo()
和 pyautogui.dragRel()
函数,将鼠标拖动到一个新的位置,或相对当前位置的位置。 dragTo() 和 dragRel() 的参数与moveTo() 和 moveRel() 相同:x 坐标/水平移动,y 坐标/垂直移动,以及可选的时间间隔。
举例:请打开 Windows 上的画图软件,让鼠标停留在绘图应用的画布上,同时选中铅笔或画笔工具,在新的文件编辑窗口中输入以下内容,保存为 spiralDraw.py:
import pyautogui, time
time.sleep(5)
pyautogui.click() # click to put drawing program in focus
distance = 200
while distance > 0:
pyautogui.dragRel(distance, 0, duration=0.2) # move right
distance = distance - 5
pyautogui.dragRel(0, distance, duration=0.2) # move down
pyautogui.dragRel(-distance, 0, duration=0.2) # move left
distance = distance - 5
pyautogui.dragRel(0, -distance, duration=0.2) # move up
在运行这个程序时,会有 5 秒钟的延迟,让你选中铅笔或画笔工具,并让鼠标停留在画图工具的窗口上。spiralDraw.py将绘制一个正方形旋转图:
4.3 滚动鼠标
滚动鼠标的函数是 scroll()
,传递正整数表示向上滚动,传递负整数表示向下滚动。
>>> pyautogui.scroll(200)
5. 处理屏幕
pyautogui 拥有屏幕快照的功能,可以根据当前屏幕的内容创建图形文件。
5.1 获取屏幕快照
要在 Python 中获取屏幕快照,就调用 pyautogui.screenshot()
函数:
>>> import pyautogui
>>> im = pyautogui.screenshot()
im 变量将包含一个屏幕快照的 Image 对象。现在可以调用 im 变量中 Image 对象的方法,就像所有其他 Image 对象一样:
>>> im.getpixel((0, 0))
(176, 176, 175)
>>> im.getpixel((50, 200))
(130, 135, 144)
向 getpixel()
函数传入坐标元组,如(0,0)或(50,200),它将告诉你图像中这些坐标处的像素颜色。getpixel()
函数的返回值是一个 RGB 元组,包含 3 个整数,表示像素的红绿蓝值。
5.2 分析屏幕快照
如果屏幕上指定的 x、y 坐标处的像素与指定的颜色匹配,PyAutoGUI 的pixelMatchesColor()
函数将返回 True。pixelMatchesColor()
函数第一和第二个参数是整数,对应 x 和 y 坐标。第三个参数是一个元组,包含 3 个整数,是屏幕像素必须匹配的 RGB 颜色:
>>> import pyautogui
>>> im = pyautogui.screenshot()
>>> im.getpixel((50, 200))
(130, 135, 144)
>>> pyautogui.pixelMatchesColor(50, 200, (130, 135, 144))
True
>>> pyautogui.pixelMatchesColor(50, 200, (255, 135, 144))
False
给定坐标处的颜色应该“完全”匹配。即使只是稍有差异,那么函数也会返回 False。
6. 图像识别
如果事先不知道应该点击哪里,怎么办?可以使用图像识别,向PyAutoGUI 提供希望点击的图像,让它去弄清楚坐标。
例如,如果你以前获得了屏幕快照,截取了提交按钮的图像,保存为submit.png,那么 locateOnScreen()
函数将返回图像所在处的坐标:
>>> import pyautogui
>>> pyautogui.locateOnScreen('submit.png')
(643, 745, 70, 29)
locateOnScreen()
函数返回4个整数的元组,是屏幕上首次发现该图像时左边的x 坐标、顶边的 y 坐标、宽度以及高度。如果屏幕上找不到该图像,locateOnScreen()
函数将返回 None
。
在得到图像所在屏幕区域的 4 整数元组后,就可以点击这个区域的中心。将元组传递给center()
函数,它将返回该区域中心的 x、y 坐标。用center()
得到中心坐标后,将 click()
坐标传递给函数,就会点击屏幕上该区域的中心,这个区域匹配你传递给 locateOnScreen()
函数的图像:
>>> pyautogui.locateOnScreen('submit.png')
(643, 745, 70, 29)
>>> pyautogui.center((643, 745, 70, 29))
(678, 759)
>>> pyautogui.click((678, 759))
7. 控制键盘
7.1 通过键盘发送一个字符串
如下代码Python 首先在坐标(100,100)处发出虚拟鼠标点击,这将点击文件编辑窗口,让它获得焦点。typewrite()
函数调用将向窗口发送文本 Hello world!
>>> pyautogui.click(100, 100); pyautogui.typewrite('Hello world!', 0.25)
7.2 键名
除了单个字符串参数,还可以向 typewrite()
函数传递这些键字符串的列表。例如,以下的调用表示按 a 键,然后是 b 键,然后是左箭头两次,最后是 X 和 Y 键:
>>> pyautogui.typewrite(['a', 'b', 'left', 'left', 'X', 'Y'])
因为按下左箭头将移动键盘光标,所以这会输出 XYab。
下表列出了 pyautogui的键盘键字符串,你可以将它们传递给 typewrite()
函数,模拟任何按键组合。也可以查看 pyautogui.KEYBOARD_KEYS
列表,看看 pyautogui 接受的所有可能的键字符串。
7.3 按下和释放键盘
就像 mouseDown()
和 mouseUp()
函数一样,pyautogui.keyDown()
和 pyautogui.keyUp()
将向计算发送虚拟的按键和释放。方便起见,pyautogui 还提供了pyautogui.press()
函数,它调用这两个函数,模拟完整的击键。
运行下面的代码,它将打印出美元字符(通过按住 Shift 键并按 4 得到):
>>> pyautogui.keyDown('shift'); pyautogui.press('4'); pyautogui.keyUp('shift')
如果你需要在文本输入框内打一个字符串,typewrite()
函数就更适合。但对于接受单个按键命令的应用,press()
函数是更简单的方式。
7.4 热键组合
拷贝选择内容的常用热键是 Ctrl-C,用户按住Ctrl键,然后按C键,然后释放C和Ctrl键。要用pyautogui的keyDown()
和keyUp()
函数来做到这一点,必须输入以下代码:
pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')
这相当复杂。作为替代,可以使用 pyautogui.hotkey()
函数,它接受多个键字符串参数,按顺序按下,再按相反的顺序释放:
pyautogui.hotkey('ctrl', 'c')
8. 复习 PyAutoGUI 的函数
8.1 PyAutoGUI 常用函数
8.2 PyAutoGUI函数用法举例
>>> import pyautogui
>>> screenWidth, screenHeight = pyautogui.size() # Get the size of the primary monitor.
>>> screenWidth, screenHeight
(2560, 1440)
>>> currentMouseX, currentMouseY = pyautogui.position() # Get the XY position of the mouse.
>>> currentMouseX, currentMouseY
(1314, 345)
>>> pyautogui.moveTo(100, 150) # Move the mouse to XY coordinates.
>>> pyautogui.click() # Click the mouse.
>>> pyautogui.click(100, 200) # Move the mouse to XY coordinates and click it.
>>> pyautogui.click('button.png') # Find where button.png appears on the screen and click it.
>>> pyautogui.move(400, 0) # Move the mouse 400 pixels to the right of its current position.
>>> pyautogui.doubleClick() # Double click the mouse.
>>> pyautogui.moveTo(500, 500, duration=2, tween=pyautogui.easeInOutQuad) # Use tweening/easing function to move mouse over 2 seconds.
>>> pyautogui.write('Hello world!', interval=0.25) # type with quarter-second pause in between each key
>>> pyautogui.press('esc') # Press the Esc key. All key names are in pyautogui.KEY_NAMES
>>> with pyautogui.hold('shift'): # Press the Shift key down and hold it.
pyautogui.press(['left', 'left', 'left', 'left']) # Press the left arrow key 4 times.
>>> # Shift key is released automatically.
>>> pyautogui.hotkey('ctrl', 'c') # Press the Ctrl-C hotkey combination.
>>> pyautogui.alert('This is the message to display.') # Make an alert box appear and pause the program until OK is clicked.