Java + Selenium + OpenCV解决自动化测试中的滑块验证

最近工作过程中，一个常用的被测网站突然增加了滑块验证环节，导致整个自动化项目失效了。

 

为了解决这个滑块验证问题，在网上查阅了一些资料后，总结并实现了解决方案，现记录如下。

1、滑块验证思路

被测对象的滑块对象长这个样子。相对而言是比较简单的一种形式，需要将左侧的拼图通过下方的滑块进行拖动，嵌入到右侧空槽中，即完成验证。

要自动化完成这个验证过程，关键点就在于确定滑块滑动的距离。

根据上面的分析，验证的关键点在于确定滑块滑动的距离。但是看似简单的一个需求，完成起来却并不简单。

如果使用自然逻辑来分析这个过程，可以拆解如下：

1. 定位到左侧拼图所在的位置，由于拼图的形状和大小固定，那么其实只需要定位其左边边界离背景图片的左侧距离。（实际在本例中，拼图的起始位置也是固定的，节省了不少工夫）

2. 定位到右侧凹槽所在位置，同样其形状和大小是固定的，那么只需要定位其左边边界离背景图片的左侧距离。

3. 用2中探测到的距离减去1中的距离，既是滑块需要被拖动的距离。

要完成上述的探测计算，首先我们想到的是使用元素定位的方法定位到拼图和凹槽的位置。

然而这一想法是不可行的，原因在于这个验证模块是使用两个canvas即画布元素实现的：

拼图和凹槽都是“画”在画布上的，其本身并不是一个页面元素，不能使用元素定位的方法。

因此我们考虑使用图片解析的方法，分析画布图像本身，来确定相应图形的位置。

2、使用OpenCV进行图片解析

这里我们将引入OpenCV库，来帮我完成图片解析过程：

OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。 
它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
OpenCV用C++语言编写，它具有C ++&#