2.2 获取图像感兴趣区域_基于改进图像匹配算法的水电站门式起重机大车视觉定位系统*...

点击上方蓝字关注我们

作者：向海 胡晓兵 吴孟桦 李航

摘 要：针对当前水电站门式起重机控制方式的缺点和运行特点，提出一种基于改进图像匹配算法的视觉定位系统，采用CCD 工业相机获取门式起重机运行过程中指定区域内的地面数据，利用改进图像匹配算法实时检测区域内停车标靶的状态和位置，分段控制门机的匀速、减速和停车。实验表明，该系统能够实现门式起重机的运动控制和定位控制。

0 引言

门式起重机(以下简称门机)作为水电站正常运转的关键设备之一，承担着各类大、中型闸门的升降，以达到闸门的开启与关闭的目的。现有门机的运转主要由人工操作，对操作人员有较高的技术要求。此外，由于工况环境复杂和人眼的视觉疲劳等因素，人工操作难以实现快速、精确地停车。传统的门式起重机自主定位技术主要利用限位开关、激光、红外线、雷达、GPS 等传感器来检测门机是否到位，然后采用模糊PID 控制算法[1,2] 通过PLC 控制门机变频电机的运转[3]。采用前述传感器获取控制数据或信号存在以下缺点：一是由于水电站的门机运作处于室外，传感器通常只能露天安放在闸门的指定位置，故对传感器的使用寿命和安全性要求非常高；二是以上传感器均无法获取现场的环境数据，无法实现远程监控以及对门机的停机误差做进一步的修正。 近年来，随着视觉传感设备和图像处理算法的快速发展，视觉系统作为计算机科学的重要研究分支，在机器人控制[4,5]、产品缺陷检测[6]、障碍物检测[7] 等方面得以大量研究和应用。作为一种先进的非接触式检测方式，机器视觉能够很好地适应门机工作环境的需要，同时又能够提供远程的视频数据监控以及停车误差修正参考标准，非常有必要研究设计一种基于视觉的水电站门式起重机定位系统。门机由于其运行路径单一，通常为直线或曲线，其对图像数据最直接的影响因素为环境光线，次要因素包括门机振动、图像畸变、控制响应速度等，本文重点研究视觉定位的设计与实现，因此对定位精度将在后续研究中做进一步分析。 图像匹配法由于简单易实现、计算量较小，在目标检测、定位检测、尺寸测量等领域应用较多。图像匹配算法主要分为基于灰度和基于特征两类匹配算法,常见的算法包括基于灰度相似性匹配[8]、序贯相似性检测算法[9](Sequential Similarity Detection Algorithm，SSDA)、基于SIFT 特征及其改进算法[10-13]。基于灰度的匹配计算简单快速，但抗干扰能力较差；基于特征的匹配具有旋转不变性和尺寸不变性，鲁棒性较好，但通常计算量较大，实时性比较差。本文通过结合简单结合基于灰度的匹配和基于特征的匹配，通过实时匹配门机运行区域内布置的定位标靶，检测视频图像中标靶的状态与位置，通过PLC 控制门机的运行状态。

1 系统组成

如图1 所示，该水工门机自主定位系统的硬件部分包括门机、PLC、工控机、CCD 相机和定位标靶组成，软件系统主要图像处理算法和运动控制程序组成。该系统的工作流程为：首先通过固定安装在门机上的CCD相机采集门机运行过程中指定区域内的地面图像，并通过网线将图像数据传输到工控机；然后先做图像进行图像预处理、图像分割，接着利用改进的模板匹配算法检测图像中标靶的状态，并根据检测的结果向PLC 发送不同的控制信号；最后由PLC 控制门机的运动状态。CCD 相机现场安装如图2 所示。

图1 水电站门式起重机视觉定位系统组成示意图

如图3 所示，软件开发平台为Visual Studio 2015C#，采用EmguCV 开源图像库以缩短开发时间。软件系统包括参数配置区和图像显示区，参数配置区主要进行定位相机的参数配置和串口通讯配置，图像显示区主要用于显示CCD 相机获取的图像、模板图像和操作记录。定位相机的参数主要包括匹配阈值设置、匹配算法选择，串口通讯参数主要包括串口号、波特率、通讯协议、通讯地址、通讯模式以及手工置位。PLC 采用西门子S7-200，通讯控制状态包括匀速信号、减速信号和减速停车信号。

图2 CCD 相机现场安装图

图3 软件系统界面

2 图像处理与运动控制

如图4 所示，当工控机获取CCD 相机采集的图片，首先需要对图像进行预处理，从而降低环境噪声的干扰，由于所采用的CCD 相机为黑白相机，故无需作进一步的灰度化处理。然后对图像进行二值分割，由于制作的定位标靶与周围环境具有明显的亮度差，因此可以较好地分割出目标区域，采用图像分割后的图像进行匹配能够减小环境光线较小变化的影响，对于较为明显的光线变化，可以进一步采用辅助光源来改善采集区域的光线亮度。获取二值图像后，进一步与模板二值图像进行匹配，从而找出目标最有可能出现的位置，然后将匹配的最相似结果与设定的阈值进行比较，从而判断当前位置是否是目标，如果不是，则处理下一帧数据；如果是，则作进一步判断。

图4 图像处理流程

2.1 改进图像匹配算法

为了充分利用基于灰度匹配算法和基于特征匹配算法各自的优点，我们改进了图像匹配的流程，通过将两种算法进行适当地融合，以解决门机视觉定位的问题。如图5 所示，首先采用基于灰度的匹配算法对待搜索图像二值图与模板二值图进行快速匹配，从而获得最大相似值S1 和对应区域R，如果S1 大于或等于阈值T1，则判定最大相似值所在位置即为目标位置；如果S1 小于阈值T1，则从原始图像中截取区域R，然后采用基于特征的匹配算法对区域R 和原始模板进行匹配，如果匹配值S2 大于等于T2，则同样判断S1 所对应的位置即为目标位置，否则判定为不存在目标，进一步处理下一帧图像。

图5 改进图像匹配算法

2.1.1 基于灰度的匹配算法选择

SSDA 算法[14] 采用由粗到细的分步搜索策略，可以明显地减少计算量，由于经典的SSDA 算法需要设置固定的阈值，由此也有了许多改进版本[15，16]。本文重点是验证视觉系统的可行性，因此采用文献[14] 所提出的SSDA 算法作为基于灰度的匹配方法的测度函数。

2.1.2 基于特征的匹配算法选择

特征匹配常用算法包括SIFT、SURF、ORB、BRIEF 等，基于特征的匹配算法一般都具有尺寸和旋转不变性，此外，ORB 特征描述子对噪声及透视仿射也具有不变性，文献[17] 对相关的特征描述子的检测精度和速度做了详细地对比与分析，得出SURF 和FREAK算法在旋转变换、模糊变换、光照变换、尺度变换以及视角变换方面具有更好的鲁棒性。SURF 虽然具有优异的鲁棒性，但其计算较为复杂，算法实时性较差。ORB由于运行时间远优于SIFT 和SURF，在实时性特征检测方面应用较多。结合对实际应用的需求分析，本文采用ORB 特征作为特征匹配算法。ORB 特征检测步骤包括： 1)方向FAST 特征点检测 F AST 多尺度特性通过建立图像金字塔获得，引入灰度质心法用于实现特征点方向。特征点中心强度定义为

2.1.3 特征相似性测度

基于特征的图像匹配测度主要采用Hausdorff 距离相似性测度，其具有计算简单、抗干扰能力强等特点。本文采用文献[18] 提出的M-HD 法，其有向距离定义为

2.2 运动控制逻辑

首先判断当前图像是否存在目标，如果没有检测到目标，则按照正常速度匀速行驶。当图像中开始出现目标后，计算目标与图像中心的像素差，并采用Modbus通讯方式由工控机向PLC 发送减速信号，PLC 再控制门机速度挡位。当模板的位置与图像中心位置的距离差小于等于设定差值TD 时，工控机向PLC 发送停车信号，PLC 控制门机电机断电。

3 实验分析

首先，比较基于灰度的匹配+ 基于特征的匹配的策略与只使用单种算法的匹配准确度，然后对现场测试结果进行分析，最后对定位误差做简要分析。

3.1 图像匹配算法对比

为便于对比算法的优缺点，仅采用基于SSDA 算法的灰度匹配算法记为SSDA，仅采用基于ORB 特征和Hausdorff 测度的特征匹配算法记为ORB-H，本文所提方法记为SSDA-ORB-H。被搜索图像尺寸为512×512，模板图像尺寸为206×92，实验结果如表1和表2 所示。表1 结果表明，当被搜索图像的亮度发生变化时，基于灰度的匹配与基于特征的匹配都能够成功匹配模板；当模板图像出现扭转或是尺寸的改变时，基于灰度的匹配则不再成功匹配模板。表2 结果表明，采用灰度与特征相结合的匹配算法能够显著地提高匹配速度。

3.2 现场测试实验

图像采集设备采用海康威视MV-CE013-50GM 黑白相机，分辨率为1 280×960，帧率为30 fps，数据接口为GigE。运行系统为Windows 7，硬件配置为i5 处理器，4G 运行内存。由于工控机的计算资源有限，直接采用1 280×960 的图像无法满足实时性的要求，因此首先将图像按比例缩放为640×480，然后提取模板图像，当检测到目标后再将目标的坐标等比例映射到原始分辨率上。此外，由于标靶在图像中的位置大概是确定的，因此只需要对标靶可能出现的区域进行匹配，在检测到标靶后，进一步缩小待搜索区域，以满足实时性的需要，测试结果如图6 所示。从实验结果可以得出，该系统能够实时、准确地匹配目标，并发出正确的运动控制信号。

图6 实际工况测试结果

3.3 误差分析

由于门机的运动速度小，在停车前进行了逐段减速，因此可以通过门机完全停止后的目标位置与图像中心的像素差值进行估计位置误差。但是，由于图像本身存在畸变，而每个位置由于处所状态不同，故直接使用标定也无法准确估计各个位置的误差。而且影响误差的因素除了图像畸变以外，还包括运动惯性、运动控制误差、图像匹配误差、门机振动等。本文主要目的是对匹配算法进行研究并验证算法的可行性，将在后续研究中对定位误差的影响因素及解决方法作进一步研究。

4 总结

本文以水电站门式起重机的视觉定位系统为研究对象，提出采用基于灰度+ 特征的模板匹配的改进图像匹配算法，详细分析了各算法的优缺点和主要采用的算法流程，并通过对比实验论证了所提算法的有效性。在实际工况下测得的数据表明，门机视觉定位系统能够实现实时、正确检测目标，并能够对门机的运动状态进行控制。门机的定位精度直接影响着停机工位的后续作业，由于篇幅有限，而影响门机的定位因素涉及运动控制精度、运动惯性、图像畸变、系统误差等诸多因素，将在后续研究中做进一步分析。

END