论文阅读-图像配准算法：A NEW REGISTRATION ALGORITHM FOR MULTIMODAL REMOTE SENSING IMAGES

论文阅读-图像配准算法：A NEW REGISTRATION ALGORITHM FOR MULTIMODAL REMOTE SENSING IMAGES

摘要

遥感图像自动配准是遥感应用中的一个具有挑战性的问题。 多模态遥感影像具有显着的非线性辐射差异，导致基于区域和基于特征的配准方法失败。 本文针对多模态遥感影像显着的非线性辐射差异和大尺度差异的问题，提出一种新的配准算法，能够满足符合相似变换模型的多模态遥感影像初始配准的需要。 综合和真实数据实验结果证明了该方法在可视化和配准精度方面的有效性和良好性能。

引言

图像配准是遥感分析任务（变化检测、图像融合和图像镶嵌）中的一个基本且关键的问题，本质上是重叠两个或多个图像，并将参考图像和感测图像对齐。
主要方法：基于区域的方法和基于特征的方法。
存在的问题：
1-显着的非线性辐射差异：
2-显着的几何差异：应用成像物理模型来消除全局旋转和尺度差异

这些方法不能满足多模态遥感图像配准的需要。
为了解决上述问题，提出了本文方法：
本文方法：在多尺度Log-Gabor[7]滤波的基础上扩展了传统的相位相关方法[5, 6]，可以有效解决由显着的非线性辐射差异和大尺度差异引起的情况。

相关工作

1-图像配准的过程：特征检测、特征匹配、变换模型估计以及图像重采样和变换。
2-特征理解过程：

• 基于区域（强调特征匹配）：归一化互相关（NCC）通过计算两个窗口的相似性度量，并将最相似的视为对应，在对缺乏区域纹理的情况不鲁棒。傅立叶方法用于图像配准并对频域中的相关噪声是有效且鲁棒的。互信息（MI）方法直接作用于图像强度，对局部差异不敏感，适用于多模态图像配准，缺点是预算大。
• 基于特征 通过提取感兴趣的特征，并找到与相似局部描述符如SIFT等的对应关系，其在处理多模态图像时，显着的非线性辐射差异会导致各种特征之间的对比度变化，使得难以提取高度可重复的共享特征并描述其特征向量，进一步降低配准方法的性能。

扩展：关于SIFT描述符号，其代表尺度不变特征变换，于 2004 年由不列颠哥伦比亚大学的D.Lowe首次提出。SIFT 对图像缩放和旋转具有不变性。（详细介绍：https://zhuanlan.zhihu.com/p/627965029）
其他描述符SIFT、SURF、ORB 和 AKAZE
（视频讲解：https://www.bilibili.com/video/BV1jH4y1P7LV/?spm_id_from=333.788&vd_source=7b9fc1a51ac18620dc45f6ab51735026）

3-本文思想

• 由于相同地物的几何结构信息在多模态遥感影像中可以保持相同，因此可以通过几何结构信息的一致性来配准影像，Log-Gabor滤波器可以用于提取集合结构信息。
  优点：对局部辐射差异不敏感，且与图像亮度无关，常用于配合结合相位相关性和其他描述符等进行图像配准；可以在具有显著非线性辐射差异的图像之间保持高度一致。
  缺点：无法处理图像之间显着的辐射差异和大尺度差异。

本文方法

1. 多尺度幅值滤波器

 通过选择相似变换模型（即旋转、缩放和平移）建立reference图像和sensed 图像(通过传感器或设备获取的图像。这些图像可以来自不同类型的传感器，例如摄像头、雷达、红外线传感器等。感测图像通常用于计算机视觉、遥感、医学成像等领域)之间的全局关系，

使用滤波器的过程：reference图像和sensed 图像经过傅里叶变换后获得相关频域中的幅度----->不同类型、不同中心频率的LogGabor滤波器对幅值进行滤波，得到一系列滤波后的图像(基本没有重叠信息)。------>构建多尺度图集空间（上层结构信息将包含在下一层中）------>对滤波后图像的相位相关。

过程如下：

其中FI为每次滤波后得到的图像，Ai表示第i层获得的空间集。

2. 空间集相位相关
一些扩展知识：

• 图像配准问题：图像配准是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的关于同一目标或场景的两幅或多幅图像进行主要是几何意义上的匹配套和的过程。图像配准的基本问题是找出一种图像转换方法，用以纠正图像的形变 。
• 傅立叶变换法：傅立叶变换法基于傅立叶变换的相位匹配。图像经过傅立叶变换，由空域变换到频域。在频域中，两组数据在空间上的相关运算可以变为频谱的复数乘法运算，同时图像在变换域中还能获得在空域中很难获得的特征。
• 相位相关：相位（phase）是对于一个波，特定的时刻在它循环中的位置：一种它是否在波峰、波谷或它们之间的某点的标度。相位描述信号波形变化的度量，通常以度（角度）作为单位，也称作相角。当信号波形以周期的方式变化，波形循环一周即为360°1。
  在数字图像处理中，相位相关法是一种用于图像配准的方法。它基于傅里叶变换，在频域进行相位匹配，从而达到图像配准的目的。具体来说，相位相关法可以用于检测两幅内容相同的图像之间的相对位移量，例如平移、旋转和缩放2。这种方法的优点包括不需要设定阈值、对光照不敏感、抗噪声能力强、稳定性好，且可以实时计算多个物体的移动。然而，它对模糊图片的效果不佳，且在处理大图像时计算开销较大，只适用于特定变换类型的图像。
• 相位相关法的原理：在时域中，信号的平移运动可以通过在频域中相位的变化表现出来。平移不影响傅立叶变换的幅值（谱），对应的幅值谱和原图像是一样的。因此，相位相关法利用傅立叶变换的性质，通过求取互功率谱的傅立叶反变换，得到一个狄拉克函数（脉冲函数），再寻找函数峰值点对应的坐标，即可得到所要求的配准点。
• 应用场景：相位相关法适用于解决刚性平移问题，即图像仅存在平移时。当图像发生平移、旋转和缩放时，图像信号在频域中的表现可以用相位相关法求解。

目的：对参考图像和感测图像图集中的每个图像对进行相位相关
步骤：
1️⃣记录所有相位相关结果的所有峰值，且最大响应峰值作为最优解。
2️⃣利用[6]中提出的方法，将最大响应峰的坐标用于计算比例因子和旋转角度。
3️⃣参考图像和感测图像之间的旋转和比例差异被消除。

3. 校正sensed图像
1️⃣根据2.2️⃣中得到的旋转角度和比例因子，通过双线性插值对sensed图像进行校正
2️⃣将校正后的sensed图像用作新的输入，以消除与参考图像的平移差异。
3️⃣ 在真实场景中，应该根据具体的比例来决定是缩小大比例图像还是放大小比例图像。

4. 多尺度Log-Gabor滤波器的光谱结构
1️⃣尽可能提取结构光谱，以消除辐射差异的连接。
2️⃣不同尺度的结构谱叠加在一起，并计算reference 图像和校正后的sensed图像叠加结构光谱之间的交叉功率谱。
3️⃣进行傅里叶逆变换，并得到最大峰值，最大峰值的坐标将决定平移。

扩展：
功率谱（Power Spectrum） 是描述信号在不同频率上的功率分布的一种工具。定义：对于给定的信号，功率谱显示了信号功率（单位时间内的能量）在不同频率范围内的分布。通常以每赫兹瓦特（W/Hz）为单位来表示功率谱。如果一个信号仅以电压来定义，那么与所述振幅相关的功率是不唯一的1。
生成方法：最常见的生成功率谱的方法是使用离散傅立叶变换（DFT），但也可以使用其他技术，例如最大熵方法。

实验

综合实验

用于评估MLPC的合理性；
参考图像如图2（a）所示，大小为512×512。 传感图像（图2（b））是对参考图像进行区域自动平衡处理，然后旋转30度并缩小4倍得到的。 参考图像和感测图像的图谱相位相关结果如图3所示，并且仅显示了能够成功计算旋转角度和比例因子的成功图像。 对应于图2和3的旋转尺度对是(29.26°，3.80)、(30.16°，3.93)和(30.42°，4.02)。 分别为3(a)-3©。 图3（b）中计算的变换模型参数最接近真实值，因为相应的图像对具有相同的尺度和高度相似的结构信息。 其中省略了六个失败案例的可视化结果。 本实验中，当两幅图像的结构信息存在较大差异时，就会出现相位相关失效，因为在两幅图像的尺度比为1的情况下，很难保证相位相关模块中的最大响应峰值。 大于1.8[6]。 失败的案例表明，直接提取原始尺度级别的结构信息可能很难得到正确的结果。 该实验也间接证明需要构建多尺度图集空间来增强相位相关的稳定性。

真实数据实验

用于评估MLPC的有效性。
两幅图像分别为可见光谱和红外图像，尺寸均为400×400，如图4所示。重叠区域覆盖了建筑物，两者之间的非线性辐射差异普遍存在，而结构信息几乎相同。 图5显示了MLPC的配准结果。 交错网格用于注册详细信息的可视化。 可以看出MLPC可以抵抗两幅图像之间的非线性辐射差异。 就本地配准细节而言，MLPC 定性 (a) (b) © 图 3. Atlas 相位相关结果。 (a) 参考图像 1A 和感测图像 2A 之间的相位相关结果。 (b) 参考图像1A和感测图像3A之间的相位相关结果。 © 参考图像 2A 和感测图像 3A 之间的相位相关结果。 峰值的位置决定了旋转和缩放[6]。
拥有良好的配准性能。 此外还在配准精度方面将 MLPC 与经典的基于区域的方法：NCC 进行了比较。 在此比较中，手动选择了 30 个检查点并计算了它们的残差。 结果如表1所示，MLPC的配准精度优于NCC。 原因是NCC不能很好地处理非线性辐射差异，影响了对应关系的分布和质量，进而影响变换模型的估计。 此外，作为NCC的贪婪搜索策略，利用MLPC估计的变换模型作为NCC的先验来约束NCC的搜索区域。 这表明本文方法可以作为其他方法的预处理。

结论

在本文中，提出了一种新的多模态遥感图像配准方法，重点解决了显着的非线性辐射差异和大尺度差异引起的问题。 综合和真实数据实验结果有助于证实所提出方法的合理性和有效性。 真实数据实验的简单定量分析结果验证了其良好的配准精度。 在未来的工作中，将进一步研究本文使用的最佳多尺度图集构建方案，并应考虑与使用更多多模态数据集的其他最先进方法进行更多定量比较。