《Review of remote sensing image registration techniques》论文解读

一、引言

图像配准四个步骤：预处理、特征提取、特征匹配、变换模型求解和图像重采样[3]
本文将传统和最新的遥感技术分为四类：基于区域、基于特征、基于混合模型、基于物理模型的配准。

二、遥感图像配准方法

2.1 基于区域的配准（模板匹配）

概念：利用图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索算法寻找最佳匹配并求得变换模型的参数，以达到配准的目的。
基于图像域：互相关法【4】、最大互信息法【5】、最大似然匹配法【6】、序列相似性检测法【7】
基于频域：快速傅里叶变换的相位相关法【8-9】、小波变换法

优点：实现简单，可以利用全部可用的灰度信息，故配准精度高
缺点：计算量大，无法满足实时要求，当配准重叠部分小时配准效果不理想，且对图像非线性形变、光照和尺度变化鲁棒性不强。

2.1.1 最大互信息法

chen【10】和johnson【5】分别2000年和2001用于遥感图像配准。
通过查找最大互信息得到两幅图像的最佳匹配模型。互信息定义为：

优势：配准精确度高，常用于多模态图像配准
缺点：计算速度慢

最大互信息搜索算法的改进算法：

• Ghorhani等【11】将基于阻尼最小二乘的模拟退火算法（SA-ML）作为查找最大互信息的搜索算法，并联合多分辨率金字塔对多模态遥感图像进行配准。
• Dame等【12】用改进的互信息基本算法来优化互信息法，提高精度和计算速度。
• 互相关法与最大互信息法都是不同参数下的最大似然估计【13】

2.1.2 基于FFT的相位相关法

适合配准灰度属性有线性正相关的图像，依据傅里叶变换的平移、旋转、放缩性质来计算变换参数。对图像$f_1(x,y)$和$f_2(x,y)$：

在极坐标下傅里叶变换关系：

可以计算出旋转角${\theta }_0$和尺度因子$\alpha$，在通过反傅里叶变换所对应的峰值位置得到平移参数$(x_0,y_0)$

优势：对图像的灰度变化、平移、旋转和放缩有较好的不变性
缺点：要求图像变换是线性关系，且对噪声敏感

基于FFT算法的改进算法：

• Xu【14】等人引入子空间中用于频率估计的多信号分类算法，在低信噪比区域仍能获得较高的估计精度
• Tzimiropoulos【15】将相位相关函数替换为梯度相关（图像幅度和方向梯度）函数，并引入规范化梯度相关，提高了鲁棒性和匹配精度。
• Thangavel【16】将高通滤波用于傅里叶变换后的图像，再计算变换参数，提高了匹配精度。

2.2 基于特征的配准

是目前使用最多的遥感图像配准方法，将对整个图像的分析转为对某种特征的分析。主特征包括点、线、面和虚拟特征。

2.2.1 点特征

包括：拐点、角点和交叉点

常用的特征检测点：

• 1977年Moravec【17】提出角点检测概念，但不具备旋转不变性，对噪声敏感。
• 1988年Harris和Stephens【18】提出Harris算子，比Moravec有更高的检测率和重复率，对旋转和灰度变化具有不变性，但不具有尺度不变性。
• 1997年Smith和Brady【20】提出SUSAN局部检测算子，对局部噪声不敏感，抗干扰能力强
• 2004年Mikolajczyk和Schmid【21】结合尺度空间理论并构造仿射区域，得到了具有尺度不变性的Harris-Laplacian算子和具有仿射不变性的Hessian-Affine算子
• 1999年Lowe【22-23】提出了尺度不变特征变换SIFT，并在2004年进行了完善，对图像灰度变化、旋转、缩放甚至仿射变换等保持不变性的优点。
• 2008年Baya【24】提出SURF局部算子，引入积分图像和箱式滤波器以提高配准速度
  

Harris检测算子：

通过计算窗口沿各方向移动后的灰度变化，查找响应局部极值点来确定Harris角点【18】。设像素点$(x,y)$为中心的窗口平移为$(\Delta x,\Delta y)$，（$w$为加权函数，一般为高斯函数）灰度变化为：


R为旋转因子，$\lambda$为处理后矩阵的特征值。则Harris响应函数定义为：

$detM$为矩阵的行列式；trace(M)表示矩阵的迹。
详细推导：https://blog.csdn.net/ha_lee/article/details/122510299

SIFT算法：

SIFT【22-23】由四步组成：

• 尺度空间极值点检测
• 特征点精确定位
• 特征点主方向确定
• 特征描述符生成

（具体过程可参考：https://blog.csdn.net/qq_46497842/article/details/116331144）

SIFT改进算法：

• 2004年Ke【25】提出PCA-SIFT算法
• 2008年Duan【26】提出ICA-SIFT算法
• 2010年Liu【27】提出KICA-SIFT算法，分别利用了主成分分析(Principal Component Anal-ysis,PCA)、独立成分分析( Independent Compo-nent Analysis,ICA)和核独立成分分析(KICA)，除去SIFT描述符的冗余信息﹐这样就降低了描述符的维数﹐从而降低了特征匹配的计算量
• 2005年Mikolajczyk提出了GLOH算法【28】利用对数极坐标同心圆计算梯度直方图，提高了SIFT描述符的独特性和算法鲁棒性。
• 2009年Morel提出ASIFT【29】算法，解决了SIFT算法的不完全仿射性问题，且比Harris-Affine效果更好
• 2011年Sedaghat【30】提出UR-SIFT算法提高了特征点分布情况，进而提高遥感图像配准精度
• 2012年Bu【31】提出了Radon-SIFT利用局部特征点不同方向36条直线的Radon变换，得到了36维的描述符，实验表明比原论文中128维更准确

2.2.2 线特征

线特征包括道路、河流的边缘和目标的轮廓线等,它反应了图像的边缘和纹理信息﹐它可以较好地剔除一些畸变的影响。
线特征首先需要利用边缘检测算法提取，再用一定方式描述特征
时域经典的边缘检测算法【37】：直方图法﹑梯度算子(Roberts算子、Sobel 算子、Prewitt算子)、方向算子、Canny算子、Hough变换等。
变换域的边缘检测算法：傅里叶变换法和小波变换法。
线特征描述符：简单描述符(边界长度、边界直径、曲率)、傅里叶描述符和矩等。

基于线特征的方法：

• Li 等【38】以区域边界及强边缘作为线特征﹐用链码相关性和形状相似性规则配准多源遥感图像
• Teo等【39】用互信息粗配准AVNIR-2和 SAR图像﹐再采用Canny 算子提取边缘特征﹐用最小点到线距离进行精确匹配
• 苏娟等【40】提出了以结构特征的边缘对遥感图像配准,该方法不仅适用于SAR 与可见光图像的配准,也适用于其他不同类型的多传感器图像的自动配准
  结论：常用于匹配边缘和轮廓较明显的多源遥感图像，比点特征结构性强，鲁棒性强，配准效果更好。 【注：可以看一下40这篇论文，将线特征加以应用】

2.2.3 面特征

首先提取闭合区域，再以该区域作为区域的特征进行匹配
图像分割法【41】包含形态学分割法，动态阈值技术、区域增长技术及基于Mean-Shift的分割算法等。常采用矩不变量（中心距、Hu矩、Zenike矩等)、面积、周长、扁平度和长宽比统计面特征,以便于匹配。

基于面特征的方法：

• Goshtasby 等[42]采用由粗到精的迭代过程获得了较好的图像分割效果,将分割得到的面特征配准图像,获得了亚像素级的匹配精度;
• Zhang 等[43]采用区域生长技术分割图像以提取面特征,用于配准ASAR图像和TM 图像;
• Cao 等[【41】提出了使用迭代阈值分割技术提取闭合区域,再以模糊集作为区域相似性准则进行匹配;
• 张宝尚等【45】用主动轮廓法获得去噪后SAR图像的分割区域,提取面特征以配准图像;
• 辛亮等[46]则用高斯拉普拉斯算子从QuickBird影像中提取封闭的边缘，得到细化的面特征,并用奇异值分解法匹配代表面特征的质心，提高了配准的速度和精度。

结论： 闭合区域对分割算法依赖性很强﹐且没有一种分割算法对所有类型的图像都能获得最佳结果,大多数依赖于图像本身。另外，提取的面特征不易达到一致性，对灰度差异较大的图像不适用。

2.2.4 虚拟结构特征

是通过基本的点特征和线特征扩展而来，包括虚拟三角形、虚拟圆等。

基于虚拟结构特征的方法：

• Enrique 等[47]以边缘特征组成虚拟三角形﹐配准视觉和热红外图像﹔
• 康欣等[48]用检测到的点特征构造仿射不变量虚拟结构三角形﹐配准SAR图像和可见光图像;
• Yu等[49]则以 Harris角点构造虚拟三角形特征﹐用于精配准多源遥感图像;
• 为避免SAR图像斑点噪声的影响,曹俊等[50l以直线交点构造虚拟点,进而构造虚拟三角形﹐用于精配准SAR图像与可见光图像;
• Alhichri 等[51]定义了最大不包含边缘点的虚拟圆,其半径可用于配准,该虚拟圆特征对破损的边缘具有鲁棒性,且通过距离变换易于从多种类型图像中提取。

结论： 虚拟结构特征不仅能有效地配准灰度差别较大的遥感图像﹐如SAR图像与光学图像,红外图像与光学图像﹐还可以精配准具有局部形变的遥感图像，为图像融合等提供高精度的配准数据，但定义虚拟结构特征的过程复杂且耗时。

2.3 基于混合模型的配准

结合了基于区域的配准和基于特征的配准。包含粗配准和精配准两个处理过程。

相关算法：

• Yu【49】用尺度不变性SIFT特征描述符粗配准多源遥感图像获得同尺度，再用小波域提取Harris角点，用相关配准进行精配准
• Hong【53】利用小波变换提取多分辨率特征，以归一化互相关法得到配准点对，再用概率松弛法（基于特征的配准方法）剔除错误匹配
• 凌智刚【54】利用相位一致性变换和Zernike矩对具有旋转、灰度差异较大的遥感图像进行粗配准，再利用互相关修正迭代算法进行精配准
• 刘向增等[【55】利用改进的具有仿射不变性SIFT特征描述符粗配准SAR图像﹐再以奇异值分解法对重新构建的相似矩阵精配准,但算法复杂度较高,计算速度慢;
• Li等【56】用SUFR描述子和快速最小截平方和估计算子粗配准SAR图像,得到了像素级精度的变换参数﹐再用归一化互相关方法进行精配准,得到了子像素级精度的变换参数。

结论： 在多源遥感图像中应用较广泛。

2.4 基于物理模型的配准

将图像理解为一个整体的物理模型，图像间的差异认为是物形变引起，配准的过程就是模拟这种形变过程。包含：基于弹性模型的配准【57-60】、基于粘性流体模型的配准【58】、基于光流场模型的配准【59-61】

2.4.1 基于弹性模型的配准

将原图像到目标图像的形变过程建模等效于拉伸弹性体的物理过程。受到内力（弹性材料形变时反作用力）和外力，当内力和外力平衡时，形变过程结束。

2.4.2 基于光流场模型的配准

• 张泽旭等[62]用全局光流场配准红外图像的背景区域,再以层次匹配算法精配准目标,该方法对场景的运动有很好的鲁棒性
• Liu等[63]采用相位相关和光流匹配具有非线性变换的ETM＋和 ASTER图像﹐获得了很好的效果。

结论： 处于起步阶段，基于光流的技术不需要提取图像特征，因此，计算速度快，但这类方法很难完成不同对象间的匹配问题。