本文介绍了一种基于循环位移矩阵的图像平移匹配算法(Cyclic Shift Matrix,CSM),本项工作由八室耿修瑞研究员提出,团队成员共同完成,相关论文已于2019年上半年在期刊 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING(TGRS)录用发表。(https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8763888)
基于循环位移矩阵的图像平移匹配算法研究
研究背景
在图像处理研究领域中,图像匹配一直是热门的研究方向。对于光学图像,尤其是遥感图像而言,好的图像匹配结果可以为后续数据处理的准确性提供保证,其研究具有重要的意义与实用价值。
在图像匹配研究中,图像之间的平移关系最为普遍,其研究也较为基础。对于整数像素级别的平移偏移,传统的方法,例如傅里叶变换以及一些衍生的算法,可以得到较为精确的偏移量估计。然而,在实际应用中,图像之间的偏移量往往是亚像素级别的,相应的,计算难度也会大幅度提升。现有的主流算法主要通过对图像之间的相位信息进行操作来完成偏移量的估计,代表的有针对相位的最小二乘估计算法以及SVD分解+相位解缠算法。
然而,受限于现实条件的约束,这些算法所依赖的理论基础在现实中无法完美成立,因此,这些算法的估计精度会受到较为明显的影响。而本文的CSM算法,通过引入循环位移矩阵的概念,使得平移匹配基础理论变得更为完善,从理论上克服了现有算法的限制,同时提升了实际结果的准确性与可靠性。
循环位移矩阵与相位信息
循环位移矩阵Q的基本形式如下所示:
图 1 循环位移矩阵
其由大小为n*n的单位矩阵演变过来,通过左乘/右乘该矩阵,可以实现图像中的所有元素纵向/横向平移1个像素。相应的,如果左乘/右乘该矩阵的x/y次方,则可以实现纵向x个/横向y个像素的平移操作,其中x,y均为实数,其示意图如下所示:
图 2 整数像素平移示意图
图 3 亚像素级平移示意图
上图中,图像分别实现了整体移动(1,1)以及 (0.01,002)个像素的操作,由此可见,通过循环位移矩阵,图像可以实现任意像素级的平移操作,而这一性质也是本文算法成立的重要依据。
对于两幅图像A与B,如果二者之间存在循环位移关系,则可以使用下式表示其关系:
其中,x,y分别表示偏移的像素量。而对于实际图像,求解偏移量的问题可以转换为如下所示的优化问题:
通过对上式中所有部分进行傅里叶变换,我们可以将其转换到频域空间。基于Q矩阵的性质,经过一系列的推导与证明(具体过程可以参考论文中的内容),可以得出,偏移量x,y的求解可以通过对图像的二维相位信息进行拟合求得。
相位折叠与迭代CSM
在实际图像中,当其偏移量大于一个像素时,其相位信息会出现以2π为周期的相位折叠的现象,如下所示:
图 4. 相位折叠现象示例:第一行为原始图像,第二行为相应相位图像
针对相位折叠问题,现有的方法主要使用二维或一维相位解缠方法,但是,在噪声较大的情况下,解缠结果的精度会受到影响,从而导致后续偏移量计算中出现较大偏差。
针对这一现象,本文将匹配过程分为两部分:整数像素级匹配与亚像素级像素匹配。同时,通过迭代使用CSM对计算结果进行多次校正。通过这一措施,将CSM所估计的像素偏移量控制在1个像素内,从而避免了相位解缠的过程,并且,迭代使用CSM进一步提升了最终结果的准确性。
算法的基本流程如下所示:
图 5 迭代CSM算法伪代码
实验结果
1.与现有算法的对比
通过对高分辨率图像进行错位以及下采样操作,本文生成了具有亚像素级偏移的图像数据集,并在其中加入模糊以及噪声等干扰项,以此来检验CSM算法的有效性,图像的示例如下所示。
图 6 图像数据集
本文与多种现有的平移匹配算法进行了对比,计算了各种方法的结果与真值之间的误差,并统计了其均值,最大值,以及方差等指标,其相应的结果如下图所示:
图7 多种算法对比结果
通过与现有算法进行比较,本文的CSM在计算结果的准确性方面优于现有的算法。同时,对于不同程度的噪声等干扰,迭代CSM结果的稳定性最佳,具有较好的抗干扰性能。
2. 推扫式高光谱图像波段配准
在真实数据(即无真值数据示例)中,本文选用了推扫型高光谱图像进行效果的验证。该类图像由于成像机制的约束,不同波段间会存在较为明显的平移偏置,如下图中(a),(b)所示。
通过将(a),(b)进行放大,如图(d),(e)所示,可以发现其在垂直方向上存在较为亚像素级的偏移,通过使用本文的CSM对其进行校正,如上图(c),(f)所示,可以将该平移量消除,达到较好的图像匹配以及校正结果。证明了CSM算法的有效性以及通用性。
小结
本文通过引入循环移位矩阵,提出了一种解决亚像素平移匹配问题的CSM方法。同时,本文给出了传统的基于相位的平移匹配算法能够得到精确解的必要条件,即要匹配的图像必须具有循环移位关系。此外,由于循环移位矩阵的引入,我们可以进行任意子像素的循环移位,这就促使本文提出了一种迭代的CSM方法来进一步提高匹配精度。仿真和实际数据的实验证明了迭代CSM方法的相较于现有算法的优越性。此外,除了平移匹配问题外,CSM还可以用来处理旋转匹配问题。我们相信循环移位矩阵将在图像匹配领域发挥重要作用。
作者:杨炜暾
编辑:马 琳
扫码关注我们