opencv 识别微信登录验证滑动块位置

opencv识别微信登录滑动验证目标位置

---

目标

识别微信登录新账号，需要拖动滑块验证时，目标块相对于图片的位置

---

前提相关信息:

• 滑块与目标位置的距离是随机的，且在一定范围内，设其最大最小值为[min, max]
• 滑块滑到距离目标左右10个单位的误差内也可以通过验证
• 每次的滑块验证码有三次重试的机会，如果三次验证不过，微信会自动换验证码
• 可以无限次数刷新验证码
• 应用机器学习应该能达到出色的识别率，但考虑到时间+学习成本，不采用机器学习的方式

---

相关图片信息

• 截图 - 通过android自带的截图工具截取验证的界面，在代码中为screenshot.jpg
  
• 微信刷新验证码时，抓包的验证图，在代码中为captcha.jpg
  
• 微信刷新验证码时，抓包的滑块图，在代码中为block.jpg
  

---

三种方案

1. 随机拖动
   • 基本思路:
     • 每次验证码的三次重试机会，分别采用min + 10, (min + max)/2, max - 10三个位置进行拖动。
     • 若不通过，则刷新验证码，重复上述过程
   • 优点：
     • 单张验证码通过率下等
     • 不用截图、下载图片与滑块图
     • 不需要加入python-opencv层
     • 因为可以无限重试，试的次数多了就能过
   • 缺点:
     • 判断的位置是根据min、max推断出来的大致范围
     • min、max的值如果变化得很明显，那么程序也要响应修改min与max的值
2. 根据颜色识别图片目标位置 (我打算采用这个方案)
   • 基本思路:
     • 根据目标位置的颜色的规律性(一般都是灰黑灰黑的)，制定一个颜色范围
       
     • 从图片中用inRange将图片转换成黑白图，白色部分为原图中符合颜色范围的区域
     • 用findContours找出所有轮廓，根据轮廓所涉及的元素点的最多的几项判断目标位置的大致范围
   • 代码实现

   # 读取截图
   screenshot = cv2.imread('screenshot.jpg')
   # 筛选出符合颜色区间的区域
   inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
   # 从图中找出所有的轮廓
   _, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
   # 对所有轮廓做排序，排序依据是每个轮廓包含的点的数量
   cnts.sort(key=len, reverse=True)
   
   # 取前两个轮廓(有些图片目标位置不一定是第一个轮廓)
   for cnt in cnts[0: 2]:
       xSum = 0
       xCounter = 0
       for position in cnt:
           xCounter += 1
           xSum += position[0][0]
       # 算出所有点的X坐标平均值，并在此基础上做一个60像素的偏移，这个偏移可以根据自己手机进行调整
       x = int(xSum / xCounter - 60)
       # 在截图上画一条红线，表示识别的x坐标位置
       cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
   
   cv2.imshow("screenshot", screenshot)
   cv2.waitKey(0)

   • 优点:
     • 单张验证码通过率中等
     • 不用下载图片与滑块图
   • 缺点:
     • 判断的位置仍然是大致范围，较第一种随机位置范围精确性有较大提升
     • 需要加入python-opencv层
     • 需要截图
3. 根据滑块识别目标位置
   • 基本思路:
     • 滑块与目标位置的区别在于，目标位置加了一层灰黑色透明前景色，图片处理时先给滑块图片加上相同的灰黑色透明前景色
       
       
     • 用处理过的滑块去匹配目标位置
   • 代码实现:

   # 读取滑块图片，并给其加上相同的灰黑色透明前景色，再进行灰化
   block = cv2.imread('block.jpg')
   blockCopy = block.copy()
   w, h = block.shape[:-1]
   cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
   cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
   block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
   
   # 读取验证码图片，并灰化
   captcha = cv2.imread('captcha.jpg')
   captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
   
   # 寻找captcha中匹配block的位置
   res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
   min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
   
   # 在最符合的画一个矩形
   cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
   
   cv2.imshow('block', block)
   cv2.imshow("captcha", captcha)
   cv2.waitKey(0);

   • 优点:
     • 单张验证码通过率高
     • 如果判断成功，位置一般很精确
   • 缺点:
     • 需要加入python-opencv层
     • 需要下载原图、滑块图(原图、滑块图的下载还没研究)
     • 判断不成功的时候，判断的位置一般偏离目标位置较大

---

总结

三种方案中第二种拥有不错的验证率，且较第三种只需要对验证界面进行截图，开发较容易。
综上所述，第二种方案是我认为较好的方法。

转载于:https://www.cnblogs.com/wrq9/p/9399822.html