pyautogui如何识别图片并跟踪，附代码示例

Uncle 城

于 2024-08-28 01:24:18 发布

阅读量376

点赞数 3

文章标签：计算机视觉人工智能 AI

本文链接：https://blog.csdn.net/weixin_45498884/article/details/141615850

版权

以下是关于 pyautogui 如何识别图片并跟踪的相关信息及代码示例：

pyautogui 可以通过 locateOnScreen 函数在屏幕上查找指定的图片。例如：

import pyautogui
button_img = cv2.imread('button.png')
button_location = pyautogui.locateOnScreen(button_img, confidence=0.8)
if button_location is not None:
    button_x, button_y = pyautogui.center(button_location)
    pyautogui.click(button_x, button_y)
else:
    print('未找到按钮图像')

在使用 locateOnScreen 函数时，可以设置 confidence 参数来调整匹配的精度。

另外，还可以通过循环逐步降低精度来提高识别的成功率，例如：

def pointLocateOnScreen(img_file):
    img_point = pyautogui.locateCenterOnScreen(img_file, grayscale=False)
    i = 1.0
    while True:
        print(i)
        i = i - 0.1
        if not img_point:
            img_point = pyautogui.locateCenterOnScreen(img_file, grayscale=False, confidence=i)
        else:
            return img_point
        if i < 0.5:
            break
print(pointLocateOnScreen("img/safari.png"))

希望以上内容对您有所帮助。

pyautogui 识别图片的函数使用

pyautogui 提供了多个函数用于图片识别，如 locateOnScreen() 函数来获得图片在屏幕上的位置信息。如果当前屏幕上搜索不到输入的图片，则会返回 None 。使用时需要传入目标图片的路径，例如：location = pyautogui.locateOnScreen('image.png') 。另外，还有 locateCenterOnScreen() 函数可以获取图片在屏幕上的中心坐标。
在实际使用中，这些函数可以帮助我们实现各种自动化操作。比如，在自动化测试中，可以通过识别特定的按钮图片来模拟点击操作；在游戏脚本中，可以识别特定的游戏元素进行相应的操作。

pyautogui 跟踪图片的实现细节

pyautogui 跟踪图片的实现主要基于图像匹配技术。它会截取屏幕图像，并与给定的目标图片进行像素级的比对。在这个过程中，一些参数的设置会影响跟踪的效果和效率。
例如，confidence 参数可以调整图像匹配的准确度。值越低，匹配的精度就越低，从而实现模糊定位，但可能会导致假阳性匹配。此外，还可以使用图像预处理技术，如灰度化、二值化、降噪等，对图片进行处理，以提高识别准确率。
同时，要注意屏幕分辨率、图像质量等因素对跟踪效果的影响。如果屏幕分辨率不同，可能会导致图片的位置和大小有所偏差；图像质量不佳可能会增加识别的难度。

pyautogui 识别图片的精度设置

在 pyautogui 中，可以通过设置 confidence 参数来控制识别图片的精度。confidence 参数的值在 0 到 1 之间，数值越高表示匹配的要求越严格。
例如，设置 confidence=0.8 ，只有当屏幕上的图像与目标图像的相似度达到 80% 以上时，才会被认为是匹配的。如果需要更宽松的匹配条件，可以降低 confidence 值。但需要注意的是，过低的 confidence 值可能会导致误匹配。
在实际应用中，要根据具体情况选择合适的 confidence 值。比如，对于一些图像特征比较明显的情况，可以设置较高的 confidence 值；对于图像可能存在一定变形或差异的情况，可以适当降低 confidence 值。

pyautogui 识别图片的循环提高成功率方法

可以通过循环来逐步降低 confidence 值以提高图片识别的成功率。例如：

def pointLocateOnScreen(img_file):
    img_point = pyautogui.locateCenterOnScreen(img_file, grayscale=False)
    i = 1.0
    while True:
        print(i)
        i = i - 0.1
        if not img_point:
            img_point = pyautogui.locateCenterOnScreen(img_file, grayscale=False, confidence=i)
        else:
            return img_point
        if i < 0.5:
            break

在上述代码中，不断降低 confidence 值，直到找到匹配的图片或者 confidence 值低于 0.5 。这种方法在某些情况下可以提高图片识别的成功率，但也可能会增加计算量和时间成本。

pyautogui 识别图片的代码优化

为了提高 pyautogui 识别图片的效率和准确性，可以进行多方面的代码优化。例如，使用灰度图像进行匹配可以加快定位速度，通过调整图像大小和比例，以便更好地匹配搜索图像。
还可以使用更高效的图像匹配算法，如 cv2.matchTemplate 算法。同时，合理设置参数，如 minSearchTime 来控制搜索时间，避免不必要的等待。

结论：通过上述对 pyautogui 识别图片并跟踪的相关内容的介绍，我们了解到 pyautogui 在图片识别和跟踪方面具有一定的灵活性和可操作性。在实际应用中，需要根据具体需求和场景，合理选择函数、设置参数，并进行适当的代码优化，以达到更好的效果。例如，在游戏自动化操作中，需要快速准确地识别游戏元素，可能需要更精细的参数调整和优化；而在一些简单的自动化任务中，可能不需要过于复杂的设置和优化。总之，要根据实际情况灵活运用，以实现高效、准确的图片识别和跟踪。