根据图像匹配实现鼠标自动点击

最新推荐文章于 2025-03-13 20:45:37 发布

爱飞的大鹏子

最新推荐文章于 2025-03-13 20:45:37 发布

阅读量6.5k

点赞数 1

分类专栏： RPA 文章标签：图像匹配 RPA

本文链接：https://blog.csdn.net/qq_38523616/article/details/97884723

版权

在处理IE内嵌Google页面的自动化时，由于无法获取句柄和URL，采用图像匹配方法进行自动点击。文章介绍了实现过程及安装包时遇到的问题，特别是第三个包的配置错误，解决方案参考了链接中的博客。成功的关键在于确保匹配图片与运行时顶层窗口一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天做自动化时碰到IE里面套用Google，无法获得句柄和URL，只能用图像匹配的思想来完成自动点击，本程序用到了几个包和包在安装过程中遇到的麻烦再其他博客都写到了。

pip install Pillow
pip install opencv_python
pip install PyMouse

第三个包安装后依然会报错，并不是程序的问题，是配置的问题，解决方案如下：

https://blog.csdn.net/qq_38523616/article/details/97796921

需要提供你识别图片的图片，将其命名为test8.jpg，因为我截得是桌面的屏幕所以匹配的图片也必须是运行时在最顶端的窗口，不然会无法找到图片

# 截图整个桌面
import win32gui
import win32ui
import win32con
import win32api
import cv2
from PIL import Image
from pymouse import PyMouse
# 获取桌面
hdesktop = win32gui.GetDesktopWindow()
# 分辨率适应
width = win32api.GetSystemMetrics(win32con.SM_CXVIRTUALSCREEN)
height = win32api.GetSystemMetrics(win32con.SM_CYVIRTUALSCREEN)
left = win32api.GetSystemMetrics(win32con.SM_XVIRTUALSCREEN)
top = win32api.GetSystemMetrics(wi