《Image Registration Techniques: A Survey》论文解读

摘要

图像配准是参考特定图像，将同一场景的两个或多个图像对齐的过程。图像配准可应用于医学、遥感和计算机视觉。 本文详细回顾了几种方法，并根据它们的贡献和缺点进行了相应分类。 还讨论了图像配准过程的主要步骤，提出了不同的性能指标来确定配准质量和准确性，以及提出了未来研究的范围。

关键词——图像配准、分类、贡献、缺点、性能指标、配准质量、准确性、未来研究。

一、引言

图像配准： 被解释为将同一场景的两个或多个图像相对于特定参考图像叠加的过程。图像的来源可以是各种环境（时间点 time-points），可以是各种角度（view-points），以及另外的各种传感器拍摄，参考图像也可以是相同来源。
配准的实质： 以几何的方式将不同的数据集转换为特定的参考坐标系（It geometrically transforms different sets of data into a particular reference co-ordinate system.）。成像条件的不同导致了图像之间的差异。本质上，目标是检测输入图像和参考图像之间存在的隐藏关系，这通常由坐标变换矩阵表示。 因此，图像配准本质上可以设计为优化问题。
图像配准的意义： 在图像分析过程中，最重要的步骤之一是图像配准。图像配准在许多实际应用中起着至关重要的作用。
应用： 在遥感上多光谱分类、环境监测、变化检测、图像拼接、天气预报、创建超分辨率图像并将信息集成到地理信息系统 (GIS) 中，在医学中检测肿瘤演变、治疗验证，以及用于地图更新的制图以及目标定位、自动质量控制和运动跟踪的计算机视觉。
根据图像获取的方式，图像配准的应用可以分为以下几组：

1. 多视图分析(Multi-view Analysis)：从多个视点捕获相似对象或场景的图像，以获得更好表示。例如包括图像的马赛克和立体的形状恢复。
2. 多时相分析(Multi-temporal)：通常在不同的条件下在不同时间捕获相同对象/场景的图像，以关注在连续图像采集之间出现的对象/场景的变化。 例如运动跟踪、跟踪肿瘤的生长。
3. 多模态分析(Multi-modal Analysis)：利用不同的传感器获取同一物体/场景的图像，将各种来源的信息进行融合，得到物体/场景的细节。 例如捕获解剖信息（如磁共振图像 (MRI)、超声或 CT）的传感器与传感器的组合获取功能信息，如正电子发射断层扫描 (PET)、单光子发射计算机断层扫描 (SPECT) 或磁共振波谱 (MRS)，以研究和分析癫痫症、阿尔茨海默病、抑郁症和其他疾病。 图 1 显示了 MEG-MRI 联合配准，这是多模式配准的一个示例。
   

二、图像配准过程涉及的步骤

图像配准任务涉及以下步骤：

1. 特征检测（Feature Detection）：根据复杂性分为手动或者自动。封闭编辑区域(Closed-boundary regions)[9-16]、边缘、轮廓[17-26]、线交叉点、拐点(corners)[27]以及一些点代表，如重心或者线端(line endings (collectively known as Control Points))都可以作为特征。特征的要求：易于检测，是物理上可解释和可识别的，参看图像和未对齐图像共享足够的共同特征，检测算法应该足够健壮，能在所有投影中检测到相同的特征而不受特定图像变形或退化的影响。
2. 特征匹配（Feature Matching）： 本质是建立未对齐图像中检测到的特征和参考图像中检测到的特征之间的对应关系[28-36]。除了特征之间的空间关系，还应该采用不同的特征描述符和相似度来建立准确的一致性，使得不受图像退化以及噪声的影响。
3. 变换模型评估（Transform Model Assessment）： 根据上一步建立的特征对应关系，估计映射函数的参数[37-43]。映射函数的选择性取决于采集过程和预期图像变形的先验知识。若没有任何先验信息，必须确保模型的灵活性以处理图像变形。
4. 图像变换（Image Transformation）：使用映射函数对感知图像进行变换以和参考图像对齐。

图像配准存在的问题：很难制造一种适用于所有配准的通用方法，原因是图像来源的多样性，退化类型的多样性，此外还要考虑辐射变形和噪声影响。图2显示了图像配准中涉及的步骤：

三、图像配准技术的分类标准

图像配准技术根据一些标准进行分类[44-45]：

1. 维度（Dimensionality）：可以是2D-2D，2D-3D 或者3D-3D
2. 变换域（Domain of transformation）：可以是全局的也可以是局部的
3. 变换类型（Type of transformation）：可以是刚性的（平移、旋转、反射）、仿射（平移、旋转、缩放、反射、剪切）、投影或非线性。
4. 配准质量（Registration quality）：依据数据或提取的特征，应用多种方法。（Depending on the data or the features extracted several measures can be adopted and applied）
5. 配准参数（Parameters of Registration）：通过不同的搜索方法（例如启发式搜索），找到最佳参数，从而决定变换质量。
6. 配准主体（Subject of Registration）：分为同一个目标进行配准和跨目标配准。（是否同源）
7. 配准目标（Object of Registration）：包括头、腹、胸等
8. 配准基础的性质（Nature of Registration basis）：可以是外在的（易于检测的外来物体，如粘贴在皮肤上的标记）、内在的（基于图像信息）或非基于图像（两个设备的成像坐标是匹配的）
9. 交互（Interaction）：可以是交互的、半自动的或全自动的
10. 涉及的模态 （Modalities involved）：可能是单模态（mono-modal），使用诸如计算机断层扫描 (CT)、磁共振成像 (MRI)、正电子发射断层扫描 (PET)、单光子发射计算机断层扫描 ( SPECT)、超声 (US) 或 X 射线或数字减影血管造影 (DSA) 或采用上述两种或多种模式的多模态（multi-modal）。

四、图像配准方法

图像配准的各种方法如下：

• 外在方法（Extrinsic Methods）： 利用人造异物附在患者身体上[46-53]，用于检测外部特征。降低了复杂性，计算速度快，保持了准确性。例如：皮肤标记，立体定位颅骨。
• 面方法（Surface Methods）: 例如基于表面的方法用于配准多模态大脑图像。 这些表面匹配算法通常应用于刚体配准。策略是，从图像的轮廓中提取点的集合（点集），如果有两个表面则有两个点集，可以用迭代最近点算法和对应匹配算法对其进行配准[54-63]。元启发式（Meta-heuristics）和进化优化（Evolutionary Optimization）也被认为可以解决表面配准这些高维优化问题。
• 矩和主轴方法（Moments and Principle Axes Methods）：惯性矩最小化的正交轴称为主轴。 两个相同的对象可以通过使它们的主轴同时出现来准确地配准，而无需使用任何刚性/仿射变换。 如果对象不相同但外观相似，则可以通过这种技术近似地配准[16, 64]。 对于基于矩的方法，在许多情况下会进行预测以产生令人满意的结果。
• 基于相关性的方法（Correlation Based Methods）：这种方法对于单模态图像以及目标相似的多个图像配准非常有用[65] 。从图像中提取的特征也用于获得互相关系数[66-69]。基于傅里叶域的互相关和相位相关技术也用于图像配准。 使用基于子空间的频率估计方法来解决基于傅里叶的图像配准问题，使用多信号分类算法 (MUSIC) 来增加鲁棒性，最终产生准确的结果 [70]。 图像之间的归一化互信息采用熵相关系数 (ECC) [71] 来进行图像配准。 伴随搜索算法的基于傅里叶的技术被用来评估两个输入图像之间的转换[72]。
• 基于互信息的方法（Mutual Information Based Methods）： 该方法考虑图像中可比体素强度的联合概率，可以有效利用互信息建立参考特征与感测图像之间的对应关系，在多模态配准任务中比基于相关性的方法有效。梯度下降优化方法已被用于最大化互信息[73]、 基于窗口和金字塔的方法用于使用互信息实现图像配准[74]、使用的其他方法包括分层搜索策略以及模拟退火[35]和Powell方法[66]，以及最近各种优化方法和多分辨率策略被用于互信息最大化。
• 基于小波的方法（Wavelet Based Methods）： 当对光谱分量（spectral component）进行计算的时候，宽口的宽度会改变。能够在时域和频域（temporal &frequency domains）之间定位属性。通过多光谱图像中的最大绝对小波系数和单个波段的高分辨率图像等选择规则选择多个小波系数后，用多光谱低分辨率图像的部分小波系数替换高分辨率图像的部分小波系数。金字塔方法也使用小波分解。同类型的小波，如Haar、Symlet、Daubechies[75]和Coiflets，用于寻找与不同小波系数集的对应关系。使用基于小波的特征提取技术以及归一化互相关匹配和基于松弛的图像匹配技术，纳入足够的控制点，以减少图像配准的局部退化[76]。
• 基于软计算的方法（Soft Computing Based Methods）： 包括人工神经网络、模糊集和几种优化启发式。
  a.神经网络（ANN）： 就是通过多层感知机（输入、隐藏、输出）相互连接一个一个神经元，信息通过上一层传到下一层。通过信息的更新等，改变不同的权重，他会自适应的学习；神经网络可以被视为非线性统计数据建模工具，用于建模输入和输出之间的复杂关系或识别数据中的模式，也称为模式识别，分为两种：（1）前馈神经网络【基于多层感知机（MLP）&径向基函数神经网络（RBF）】，没有神经元循环，需要输出的先验信息用来训练前馈神经网络（2）递归神经网络【SOM（自组织映射）Hopfield网络】有神经元循环，不需要任何的先验信息。ANN通过权值的修改与自适应的更新（adaptively updates&weights updates），使得其能够更好的学习非线性的输入输出，更加的具有鲁棒性与有效性。MLP、RBF、SOM、HOP被设计应用于不同的配准中【77】。ANN也被用来解决单模态和多模态的配准问题。
  b:模糊集（Fuzzy Sets）： 模糊集是一系列元素的集合，它具有等级制度（优先级不同：membership grades），遵循包含、并集、补集、交集等性质。 模糊集已应用于图像配准技术 [79-80]。 它还被用于选择和预处理提取的要配准的特征。 模糊逻辑用于提高转换参数的精度，最终导致准确的配准估计 [81]。
  c:优化启发方法（optimization heuristics）： 优化问题具有一些数学模型和优化函数;无约束、有约束；既有离散变量又有连续变量；寻找最优解是困难的，因为在全局最优点处有大量的削减活动。传统的方法（梯度下降法、动态规划、牛顿法）计算效率太低，但是能很好的完成其任务；优化启示算法包括遗传算法（GA）、粒子群优化算法（pso）、引力搜索算法（GSA）、蚁群算法（ACO）、退火算法（SA）、植物繁殖算法（PPS）等。这些算法的目的是为了变换找到转换模型最优的参数。

五、转换模型估计

转换是将一组点映射到其他各种位置的过程。 目标是设计一个适当的转换模型，以最大的精度将感测到的图像相对于原始图像进行转换。 可以执行的变换是平移、旋转、缩放、剪切和反射， 这些统称为仿射变换，还有投影和非线性变换。
平移：

旋转：

放缩：

剪切：

六、配准评估

相关性适用于单模态配准，而互信息用于多模态图像配准目的。
相关性（CC）： 如果两幅图像完全一致，CC 给出的值等于 1，而如果两幅图像完全不相关，CC 值等于 0，CC 值等于 -1 表示图像完全反相关，即是对方的底片。表示为：

互信息（MI）： MI 是另一种测量方法，用于确定在两幅图像中相应体素的图像强度之间的相似度 [35-36]。 当两个图像都准确对齐时，MI 最大化。MI 的值是非负的和对称的。 MI 值的范围从零开始，可以变化到一个高值。 高 MI 值表示不确定性大大降低，而零 MI 值清楚地表明这两个变量是独立的。 它表示为：（其中 p(x, y) = 联合分布函数和 p 1 (x) , p 2 (y) = 边际分布函数。）

七、结论

• 图像配准是融合和分析来自各种传感器（来源）信息的重要步骤。
• 具有复杂非线性失真的图像配准、多模态配准和遮挡图像的配准属于当前场景中最具挑战性的任务。
• 特征或控制点的生成以及映射或转换函数是必不可少的步骤，需要做大量的研究工作来提高准确性。
• 在多模态配准中，MI 技术尤其受到欢迎，而对于单模态图像，基于相关性的相似性度量是首选。 通过将基于 MI 的技术与基于特征的测量相结合的混合方法，可以提高鲁棒性和可靠性。
• 优化启发式等软计算方法主要用于在基于仿射变换的配准的情况下找到最佳参数。
• 由于配准需要考虑图像，因此图像配准没有黄金标准。