Opencv模板匹配破解滑动验证码基于python

注：本文仅用于学习参考。

如果你直接使用模板匹配效果并不理想的话，可以试试这种方法，我们现将图片进行自适应阈值处理，这样的则可以增强轮廓边缘的信息，让效果更加显著，在使用边缘检测保留更多信息，由于缺口位置是半透明阴影状态，模板图片和缺口位置存在相同信息，则可以大大提高匹配准确率。

展示图片

两张图片一张是滑块背景图

另一张是 模板也就是小的拼图

思路分析

导入图片

import cv2
img_rgb = cv2.imread(img_path)
template = cv2.imread(tm_path)

自适应阈值

将导入后的图片进行自适应阈值处理得到结果如下：
参数可以自行调整

    img_thresh = cv2.adaptiveThreshold(img_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 5, 0)
    tm_thresh = cv2.adaptiveThreshold(tm_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 5, 0)

边缘检测

接下来进行边缘检测 将范围调制较大保留更多边缘，

 img_canny = cv2.Canny(img_thresh, 0, 500)
 tm_canny = cv2.Canny(tm_thresh, 0, 500)

模板匹配

得到边缘检测的结果后，在进行模板匹配
我们使用归一化系数匹配法 TM_CCOEFF_NORMED
在用minMaxLoc方法求出最大值，和最小值，以及他们的坐标

res = cv2.matchTemplate(img_canny, tm_canny, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

计算矩形坐标

h, w = template.shape[:2]
right_bottom = (max_loc[0] + w, max_loc[1] + h)   # 右下角
 cv2.rectangle(img_rgb, max_loc, right_bottom, (0, 0, 255), 2)

我们拿到模板图像的高和宽，在通过我们的max_loc为矩形的左上角坐标x轴加上宽得到矩形右下角x坐标，y轴坐标加上高得到右下角y坐标
在使用rectangle方法将其显示出来。

结果展示

可以看到还是很准确的，矩形面积大是因为，模板的宽高没有进行处理，存在透明通道部分。

下面我们可以测试多图看一下效果。


也可以看到检测不准的，当然图像处理的方法并不能解决，所有的滑块问题，因为不同的滑块之前却别也是很大的，有的透明背景图，有的纯白色，有的纯黑色，有的透明通道为缺口。

处理模板图片高度和宽度

将图片缩小，去除透明部分，宽高都会缩小，这样会更加精准。如果不加这段代码则会向上面一样准确率有所下降并且，圈出的缺口范围也会很大

    h, w = tm_gray.shape
    w_start_index, h_start_index = 0, 0
    w_end_index, h_end_index = w, h
    # 缺口图去除背景
    # 算出高起始位置，其实就是从上向下循环找到有颜色的区域
    for i in range(h):
        if not any(tm_gray[i, :]):
            h_start_index = i
        else:
            break
	# 算出高的结束位置  从下向上循环找到有颜色的区域，减一是因为索引是从零开始，如果取h会报错
    for i in range(h - 1, 0, -1):
        if not any(tm_gray[i, :]):
            h_end_index = i
        else:
            break
	# 算出宽的起始位置 从左向右循环找到有颜色的区域
    for i in range(w):
        if not any(tm_gray[:, i]):
            w_start_index = i
        else:
            break
	# 算出宽的起始位置  从右向左循环找到有颜色的区域
    for i in range(w - 1, 0, -1):
        if not any(tm_gray[:, i]):
            w_end_index = i
        else:
            break

如果有更好的方法也可以在评论区评论@我。

完整代码

def template_matching(img_path, tm_path):

	# 导入图片，灰度化
    img_rgb = cv2.imread(img_path)
    template_rgb = cv2.imread(tm_path)
    img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
    tm_gray = cv2.cvtColor(template_rgb, cv2.COLOR_BGR2GRAY)
    # 缺口图去除背景
    h, w = tm_gray.shape
    w_start_index, h_start_index = 0, 0
    w_end_index, h_end_index = w, h
    # 缺口图去除背景
    # 算出高起始位置
    for i in range(h):
        if not any(tm_gray[i, :]):
            h_start_index = i
        else:
            break
	# 算出高的结束位置
    for i in range(h - 1, 0, -1):
        if not any(tm_gray[i, :]):
            h_end_index = i
        else:
            break
	# 算出宽的起始位置
    for i in range(w):
        if not any(tm_gray[:, i]):
            w_start_index = i
        else:
            break
	# 算出宽的起始位置
    for i in range(w - 1, 0, -1):
        if not any(tm_gray[:, i]):
            w_end_index = i
        else:
            break
    # 取出完整的缺口图
    tm_gray= tm_gray[h_start_index:h_end_index + 1, w_start_index:w_end_index + 1]
    # 自适应阈值话
    img_thresh = cv2.adaptiveThreshold(img_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 5, 0)
    tm_thresh = cv2.adaptiveThreshold(tm_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 5, 0)

    # 边缘检测
    img_canny = cv2.Canny(img_thresh, 0, 500)
    tm_canny = cv2.Canny(tm_thresh, 0, 500)
    cv2.imshow("img_canny", img_canny)
    cv2.imshow("tm_canny", tm_canny)
    h, w = tm_gray.shape[:2]
    # 模板匹配
    res = cv2.matchTemplate(img_canny, tm_canny, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    right_bottom = (max_loc[0] + w, max_loc[1] + h)   # 右下角
	# 圈出矩形坐标
    cv2.rectangle(img_rgb, max_loc, right_bottom, (0, 0, 255), 2)

    # 保存处理后的图片
    cv2.imwrite('res.png', img_rgb)

    # 显示图片 参数：（窗口标识字符串，imread读入的图像）
    # cv2.imshow("test_image", img_rgb)
    return img_rgb

可见加入处理缺口的代码之后更加精准，并且范围更小。