使用opencv识别滑块验证

滑块验证码

对于某些简单的滑块，无需进行模型训练，可以使用opencv就能识别，比如：
有一种常用方法cv2.matchTemplate，可以将滑动的图案与背景图案进行模板匹配，这种方法适用于滑动图案与背景图片中目标位置有相同图案的情况。

但是本文想介绍的是另一种：背景中目标位置是空白的情况。

验证码详情

如何识别图片中的矩形位置？
分析主要有三个特点：

1. 待识别目标是规则的轮廓；
2. 轮廓内是纯白色，与周边像素界限明显；
3. 整个图片对轮廓中的白色干扰很少，除了中间的白色圆圈同为白色。

识别方案

基于以上分析，识别方案不需要使用深度学习，利用opencv就能实现，主要思路是：

1. 将图片转为灰度图，方便后续处理；

2. 将图片二值化，比如将值在220以下的像素过滤为黑色，220以上为白色，实际阈值可调；
   （这里设置的阈值有些低了，背景中留下的白色干扰较多）

3. 对图片进行轮廓检测，过滤面积较小的轮廓，只留面积大的轮廓，面积阈值可调；

4. 多边形逼近，将轮廓按一定阈值（这里是周长的2%）进行多边形逼近，这里逼近为了四边形，三角形，和8边形；

5. 最后筛选出顶点数为4的就是我们要找的目标矩形

6. 实际测试，这张背景图容易出现badcase

对于下面这张背景图片，就不能识别，但仔细观察发现矩形框肉眼可见的能与背景分离，那么也好办：


所以可以修改一下二值化的像素值下限，比如从220增加到240，此时背景中的偏白色像素被过滤的更多了，从而分离出矩形，完成识别

当然，对于这张背景图，如果方块和圆圈有重叠，那么就无法用此方案识别了，但因为仅有一张这样的背景图存在干扰，而且干扰较小，实际真正遇到重叠的情况很少，总体准确率不会低，可以实际应用。

代码

完整代码如下，读者可以将文中图片下载到本地配合代码进行测试：

import cv2

# 读取图像并进行二值化操作
img_file = 'test.jpg'
image = cv2.imread(img_file)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
_, threshold = cv2.threshold(gray, 240, 255, cv2.THRESH_BINARY)

# 我记得cv2较高版本好像输出不一样，报错的话可以降版本试试
# 执行轮廓检测
contours, hierarchy = cv2.findContours(threshold, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 面积过滤阈值
area_threshold = 25

# 遍历轮廓进行面积过滤和矩形框检测
for contour in contours:
    # 计算轮廓的面积
    area = cv2.contourArea(contour)

    # 过滤面积过小的轮廓，每个轮廓contour由n个点坐标组成，shape为(n,1,2)
    if area > area_threshold:
        peri = cv2.arcLength(contour, True)  # 计算轮廓的周长，True表示封闭轮廓
        # 多边形逼近，原理可参考：https://zhuanlan.zhihu.com/p/433888415
        approx = cv2.approxPolyDP(contour, 0.02 * peri, True)
        # 如果多边形是矩形，则绘制矩形框，4个顶点不一定是矩形，但在本案例情景下大概率是目标矩形
        if len(approx) == 4:
            cv2.drawContours(image, [approx], 0, (0, 0, 255), 2)

# 显示结果图像
cv2.imshow('Rectangles', image)
cv2.waitKey(0)
cv2.destroyAllWindows()

总结

对于简单的滑块验证码，可以有很多识别方法，只要仔细观察总结就能拟定出合适的方案，以文中滑块为例，本文给出了一个实现案例，希望对读者有启发。
再说了，opencv不行的话还有深度学习啊。