根据截图定位

minechung

于 2022-05-16 19:16:59 发布

阅读量510

点赞数

文章标签： python 深度学习

本文链接：https://blog.csdn.net/qq_43023590/article/details/124806003

版权

在自动化测试或数据抓取中，当常规元素定位方法失效时，可以借助Python结合深度学习来实现截图定位。该方法通过对屏幕截图进行分析，识别并定位目标元素，提高任务执行的准确性和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当无法通过元素定位时，可以通过截图定位。

mport os
import time
import cv2
from PIL import ImageGrab
from pymouse import PyMouse
from pykeyboard import PyKeyboard
from config import Config


class ImageMatch():
    def __init__(self, target_image):
        """给一个目标图"""
        self.target_image = target_image
        self.mouse = PyMouse()  # 鼠标
        self.keyboard = PyKeyboard()  # 键盘
        self.__screenshot_full()  # 调用一次截图
        self.match_result = self.__match()  # 调用一次匹配

    def __screenshot_full(self):
        """截个全屏的图"""
        self.full_screen_file_name = os.path.join(Config.root_path, f"image/full_screen_image/{int(time.time())}.png")
        ImageGrab.grab().save(self.full_screen_file_name)

    def __match(self) -> tuple:
        """匹配图并返回（最佳匹配度，中间坐标点，标记图）"""
        big = cv2.imread(self.full_screen_file_