源自:航空兵器
作者:邱千钧, 周鹏耀, 高欣, 张芳, 吕梅柏
摘 要
针对舰船类目标跟踪中面临的形态变化和尺度缩放导致的跟踪漂移或丢失问题,本文设计了一种基于多特征融合和阈值选取的抗形态变化和尺度变换干扰目标跟踪算法。在抗形态变化模块中,设计了一种多特征加权融合方法。通过将方向梯度直方图、局部二值模式、颜色矩按颜色矩特征识别贡献率进行自适应加权融合,加强了舰船类目标重要部位特征提取能力,提高了算法跟踪过程的鲁棒性;在抗尺度变换干扰模块中,设计了一种多分辨率目标框共同搜索、最大响应峰确定目标位置的方法,解决了舰船类目标尺度缩放导致的跟踪框鲁棒性低的问题。实验结果表明,本文算法具有更出色的跟踪性能,其在OTB数据集上的精确度为93.6%,成功率达到70.1%,优于其他相关算法。
关键词
特征融合, 阈值选取, 目标跟踪, 相关滤波, 尺度缩放, 方向梯度直方图, 抗干扰
引 言
海上舰船目标跟踪是制导导弹实现准确打击的关键之一, 在跟踪算法中, 目标特征选取及特征提取方法很大程度上决定了跟踪性能的好坏。舰船类目标制导系统特征的提取难点主要在于尺度缩放和特征丢失问题。这些问题的存在使得跟踪任务可能会受到影响, 造成目标丢失、 跟踪非选中目标等结果。
随着计算机技术广泛应用到生产与生活中, 计算机数字处理技术在图像处理中的应用发展迅速[1]。计算机视觉是图像处理中一个重要的研究方向, 其主要任务是利用计算机代替人眼对场景进行感知[2], 通过对摄取到的图像信息进行提取, 实现目标跟踪功能。
目标跟踪[3]作用机理是通过给定视频流中的第一帧或后续某一帧目标的坐标和长宽后, 在后续帧中对目标进行识别, 持续稳定跟踪目标的位置状态。基于视觉目标跟踪主要分为基于可见光目标跟踪和基于红外目标跟踪[4]。由于可见光图像容易获取并且拥有较高的分辨率和较为丰富的纹理细节, 因此本文目标跟踪算法基于可见光图像。
目标跟踪中基于相关滤波的跟踪算法应用较为广泛, 最早将相关性应用到目标跟踪中的算法是MOSSE(Minimum Output Sum of Squared Error)[5], 而之后衍生出的KCF(Kernelized Correlation Filters)算法[6]应用最广泛。
基于相关滤波开展的KCF算法使用目标的HOG(Histogram of Oriented Gradient)特征, 但这种特征对于目标尺度缩放、 目标形态变化等带来的特征丢失、 局部特征不足、 抗尺度变化能力不够等问题不能很好的解决。因此, 本文针对以上问题, 开展基于HOG, LBP(Local binary patterns), CN(Color Names)三种特征柔性融合技术对原有KCF算法特征丢失及局部特征不足进行改进, 开展多分辨率阈值选取算法研究, 对KCF算法抗尺度缩放干扰能力不足进行优化。
实验研究表明, 本文提出的基于特征柔性融合和多分辨阈值选取的改进KCF算法, 有效解决了舰船类目标跟踪过程中特征模糊及丢失导致的形态变化和目标尺度缩放问题。
本文研究的算法逻辑流程如图1所示。
图1 算法逻辑流程图
1 HOG, LBP, CN特征融合
可见光图像, 一般为RGB三通道[7], 其本质是一个二维矩阵, RGB图像是利用红色(Red)、 绿色(Green)、 蓝色(Blue)三个颜色进行加权堆叠得到二维矩阵中的一个像素。
特征提取是可见光目标跟踪制导系统的一个重要组成部分, 图像特征提取利用计算机提取图像的信息, 判别图像的像素点是否属于图像的一个特征。特征提取把图像上的像素点分成不同子集[8], 子集一般分为孤立的点、 连续曲线或者连续区域。
图像特征种类很多, 因其应用于不同任务有很多种分类方法, 本文主要介绍三种特征, 分别为HOG特征、 CN特征、 LBP特征。利用这三种特征进行特征像素级融合, 提高目标跟踪特征提取能力, 解决特征模糊问题。
1.1 HOG特征提取
HOG特征是一种特性描述子, 即计算每个像素的梯度得到HOG特征[9]。目标的局部形状可以被梯度很好地描述, 因为梯度主要存在于局部目标中的边缘区域。提取HOG特征的步骤如图2所示。
图2 HOG特征提取流程示意图
(1) 首先是输入图片, 之后对图像做归一化处理, 由于采集到的图像有时会过亮或过暗, 利用Gamma校正可以解决此问题[10], 其原理如下:
(1)
式中: I(x, y)表示像素点的灰度值; I0(x, y)表示经过Gamma校正后的灰度值; γ表示矫正系数。可以看出, Gamma校正本质是对图像灰度值做非线性操作, 使输出图像灰度值与输入图像灰度值呈指数关系, 当γ>1时, 图像中灰度较高的区域对比度增强, 图像变暗; 当γ<1时, 图像中灰度较低的区域对比度增强, 图像变亮; 当γ=1时, 不改变图像的灰度。
(2) 图像归一化后, 对图像中每个像素点计算梯度;
(3) 将图片分成若干个8×8的单元, 那么一个单元里会包含8×8×2个值, 即每个像素点包含两个信息, 梯度幅值和梯度方向, 将这128个值统计为梯度直方图, 此时特征从128维降到9维。把0°~180°分成9个间距相等的直方图, 统计各个像素点从属于哪个直方图;
(4) 得到每一个单元的梯度直方图后, 每4个单元为一个子块, 即2×2个单元组成一个子块, 每个单元为1×9维, 4个单元则为1×36维, 再对子块进行归一化;
(5) 将子块框在图像上滑动遍历, 可以得到若干个归一化后的1×36维子块向量, 将这些向量整合拼接, 便可得到HOG特征向量。
1.2 LBP特征提取
原始LBP特征提取时, 定义以当前像素为中心, 取大小为3×3的邻域, 把中心点像素灰度值作为阈值, 和相邻的8个像素的灰度值做比较, 如图3所示。
图3 中心像素LBP值提取示意图
对原图中某一像素点及其邻域灰度求解得到图3(b), 以中心点周围像素的灰度值大于中心点时记为1, 否则记为0作为判断标准, 对图3(b)进行阈值判断得到图3(c)。将图3(c)中这8个数按顺时针组成一个8位二进制