python+opencv+selenium自动化登录邮箱并解决滑动验证的问题

2024软件测试面试刷题，这个小程序（永久刷题），靠它快速找到工作了！（刷题APP的天花板）_软件测试刷题小程序-CSDN博客文章浏览阅读3.3k次，点赞86次，收藏15次。你知不知道有这么一个软件测试面试的刷题小程序。里面包含了面试常问的软件测试基础题，web自动化测试、app自动化测试、接口测试、性能测试、自动化测试、安全测试及一些常问到的人力资源题目。最主要的是他还收集了像阿里、华为这样的大厂面试真题，还有互动交流板块……_软件测试刷题小程序​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502

本文主要讲解基于Python、OpenCV和Selenium的自动化登录邮箱并解决滑动验证问题。在这个过程中，我们需要特别注意页面元素的准确定位以及文本框和验证码的frame嵌套问题。感兴趣的朋友们一起来学习吧，让我们一起探索解决这个挑战的方法。

前言

大家在进行自动化登录时可能都曾面临过需要手动验证滑块验证码的问题，这次我们将着重解决这个挑战。

如下：

在我们进行自动化登录时，经常会遇到各种各样的验证码，其中最常见的就是滑块验证码。如果我们的程序在自动输入账号密码后，还需要我们手动去滑动验证码，这样的过程还能称得上是自动化吗？

接下来，让我先给大家介绍一下我的解题步骤。

需要解决的问题：

源代码：

from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ActionChains
from selenium import webdriver

import requests
import time
import cv2

#下载图片
def download_img(url,filename):
    r = requests.get(url)
    with open( filename + '.png', 'wb') as f:
        # 对于图片类型的通过r.content方式访问响应内容，将响应内容写入yanzheng.png中
        f.write(r.content)
        print(filename + '下载完成')

def get_image():
    #为什么这里要定义全局变量？因为driver在函数内，函数运行完毕就会关闭，
    #相应的网页也会被关闭，这就是网上很多问为什么网页会自动关闭的原因。
    global driver
    driver= webdriver.Chrome() #获取浏览器对象
    driver.get("https://mail.qq.com/") #加载百度首页
    #窗口最大化操作，如果窗口过小，会导致后续拖动滑块时出现视野丢失的问题
    driver.maximize_window()
    time.sleep(2) #睡眠两秒

    driver.find_element_by_xpath('/html/body/div/div[2]/div/div[1]/div/div[1]/div[2]').click()

    time.sleep(1)

    driver.switch_to.frame('login_frame')
    # driver.find_element_by_xpath('//*[@id="switcher_plogin"]').click()

    #输入账号密码
    input=driver.find_element_by_xpath('//*[@id="u"]')#定位QQ账号框
    time.sleep(1)
    input.send_keys("zhanghao") #搜索框输入内容

    input=driver.find_element_by_xpath('//*[@id="p"]')#定位QQ密码框
    input.send_keys("你的密码") #搜索框输入内容
    print('账号密码输入完成。')
    #这里停顿一下，不然不会显示滑动验证，应该是检测自动化工具的手段。（反爬）
    time.sleep(1)
    driver.find_element_by_xpath('//*[@id="login_button"]').click()

    #注意我们这里又需要跳到验证码的子框（又一个嵌套）
    time.sleep(1)
    driver.switch_to.frame('tcaptcha_iframe')
    #webdriver的定位方法和浏览器xpath不一样，不能直接定位到标签的属性.
    #需要首先定位到webelement，之后get到属性!!!!!!!
    bk = driver.find_element_by_xpath('//*[@id="slideBg"]').get_attribute('src')
    print(bk)
    #获取背景和滑块地址，下载到本地。
    key = driver.find_element_by_xpath('//*[@id="slideBlock"]').get_attribute('src')
    print(bk)

    download_img(bk,filename= 'bk')
    download_img(key,filename= 'key')

    #锁定滑块
    slider = driver.find_element_by_xpath('//*[@id="tcaptcha_drag_thumb"]')
    #获取应滑动距离
    dis = get_distance()
    print(dis)

    #滑块部分，没有问题，已完成。
    newact =  ActionChains(driver)
    newact.click_and_hold(slider).perform()

    newact.move_by_offset(xoffset=dis-20,yoffset=0).perform()
    time.sleep(0.5)
    newact.release().perform()

#处理得到滑块应移动的距离。
def get_distance():
    path = 'bk.png'
    img = cv2.imread(path)

    path = 'key.png'
    img2 = cv2.imread(path)

    imgContour = img.copy()
    print('img.shape:', img.shape)

    imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    imgBlur = cv2.GaussianBlur(imgGray, (3, 3), 1)
    imgCanny = cv2.Canny(imgBlur, 400, 500)

    imgGray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
    imgBlur2 = cv2.GaussianBlur(imgGray2, (3, 3), 1)
    imgCanny2 = cv2.Canny(imgBlur2, 400, 500)

    cv2.imshow("O", imgCanny)

    # 匹配拼图
    result = cv2.matchTemplate(imgCanny, imgCanny2, cv2.TM_CCOEFF_NORMED)

    # 归一化
    cv2.normalize(result, result, 0, 1, cv2.NORM_MINMAX, -1)

    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

    print('min_loc:', min_loc)
    print('max_loc:', max_loc)

    # 匹配后结果画圈
    cv2.rectangle(imgContour, max_loc, (max_loc[0] + 135, max_loc[1] + 135), (0, 0, 255), 2)

    # 原图为680*390 在浏览器resize为280*161，这里我们只用到宽。所以需要进行同比例缩放。
    res = min_loc[0] / (680 / 280)

    cv2.imshow("Canny Image", imgContour)
    #这里不可以用0，因为图片窗口会一直显示，程序卡住无法return出距离给滑块功能使用。
    cv2.waitKey(100)
    print('应滑动距离获取成功。')
    return res

if __name__ == '__main__':
    get_image()

以下是运行结果，我们成功地识别出了两种不同验证码背景图。在图中，您可以看到标记了红框的区域，这是我们代码成功识别并标记出来的验证码缺口位置。

本文使用了OpenCV库，并且主要流程包括以下几个步骤：

1. 对图像进行二值化处理。

2. 对二值化后的图像进行高斯模糊处理。

3. 使用Canny边缘检测算法进行边缘检测。

4. 运用HoughLinesP霍夫变换来寻找直线。

5. 对符合条件的直线进行处理，以寻找交点，从而计算出我们需要找到的滑块的位置。

通过以上步骤，我们可以成功地解决滑块验证码的识别问题。

到此，关于使用Python、OpenCV和Selenium自动化登录邮箱并解决滑块验证问题的文章就介绍完毕了。

行动吧，在路上总比一直观望的要好，未来的你肯定会感谢现在拼搏的自己！如果想学习提升找不到资料，没人答疑解惑时，请及时加入群： 759968159，里面有各种测试开发资料和技术可以一起交流哦。

最后： 下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】

​​​软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。