Image Registration

最新推荐文章于 2024-06-02 09:38:19 发布

山水之间2018

最新推荐文章于 2024-06-02 09:38:19 发布

阅读量3.8k

点赞数 7

分类专栏： Stereo Matching 文章标签： Image Registration 图像配准

本文链接：https://blog.csdn.net/Gavinmiaoc/article/details/93335321

版权

Stereo Matching 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

Update on 2021.0110

图像匹配最新论文：
1.Learning Feature Descriptors using Camera Pose Supervision （CAPS）
2.Reinforced Feature Points:Optimizing Feature Detection and Description for a High-Level Task（SuperPoint）
3.R2D2: repeatable and reliable detector and descriptor
4.SuperGlue: Learning Feature Matching with Graph Neural Networks

******************************************************分割线****************************************************************

******************************************************************************************************************************

（不得不感叹下，玩深度学习特别是CV的朋友们，你们辛苦了！一朝入坑，处处有坑。一路走来，从SR，ReID,Image inpainting ，action detection,pose estimation,stereo matching 到VSR,无人驾驶，到今天的Image Registration，机器视觉的应用领域实在是太广泛了，而且每一个小的研究方向都要深挖无数篇论文也每年都有不计其数的撸paper的大侠们各种投稿。本来很简单的一个应用，深挖后发现可以拓展到多个领域，而且确实是值得玩一玩的，比如今天要聊的图像配准算法。）

文章整理自知乎及CSDN，后面参考文献里备注了出处，侵删，鸣谢！

一、定义：

图像配准是使用某种方法，基于某种评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。

是基于某评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。通常情况下，它将一副图片（源图像，Moving Image）的坐标映射到另一幅图像（目标图像，Fixed Image）上，得到配准后的图像对（Moved Image）。

根据不同配准方法，不同评判标准和不同图片类型，有不同类型的图像配准方法（详见“问题分类”部分）

二、问题背景和应用：

图像配准在遥感（制图更新）和计算机视觉方面具有应用。

由于可以应用图像配准的广泛应用，不可能开发出针对所有用途而优化的通用方法。

图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的图像诸如CT，MRI；同时，也可以采集到含有功能信息的图像诸如SPECT。然而，通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。

在计算机视觉领域里，配准方法可被用来进行视频分析、模式识别，自动跟踪对象的运动变化。

在材料力学方面，配准通常用来研究力学性质，称为数字图像相关。通过对不同相机不同传感器采集到的信息（形状，温度等）进行融合比较，可以计算得到例如应变场、温度场等数值。通过带入理论模型可以进行参数反向优化等。

传统的配准方法是一个迭代优化的过程，首先定义一个相似性度量（如：L2范数，互信息），通过对参数变换或非参变换进行不断迭代优化，使得配准后的源图像与目标图像相似度最大。

如今，深度学习在医学图像分析的研究中是比较火热的技术，在器官分割、病灶检测与分类任务中取得了相当好的效果。基于深度学习的医学图像配准方法相较于传统的配准方法，具有很大的优势与潜力，因此有越来越多的研究人员在研究该方法，近几年来有不少相关的工作发表。

在图像处理领域中，配准是一项相对复杂得多的任务，无论是数学原理、处理步骤，还是结果评价等方面，都存在很多难题。虽然现在也有很多传统的配准方法取得了很好的效果，但是由于传统方法本身的局限性，导致其仍然存在很多问题，比如：

1.适用性差，一种方法或一组参数只适用于某一特定模态甚至是特定的数据集上；
2.处理速度慢，由于传统的配准方法大都是采用迭代优化的方式搜寻最优参数的，这导致其处理速度相当慢，很难应用在实时化场景中；
3.配准的结果评估是一个没有金标准的难题，我在实践当中深有体会，目前利用深度学习配准的方法大多采用分割标记的重合度（DICE）评价配准，这是有其局限性的；
4.标注的数据极其有限，深度学习极其依赖数据，大家都知道，而利用监督学习方法就需要大量的带标注的数据，这就更难收集了，不过还好，现在有无监督学习；

基于深度学习的医学图像配准

大体上，近几年的文章可以分为两大类：

2.1、利用深度学习网络估计两幅图像的相似性度量，驱动迭代优化；

2.2、直接利用深度回归网络预测转换参数。

前者只利用了深度学习进行相似性度量，仍然需要传统配准方法进行迭代优化，没有充分发挥深度学习的优势，花费时间长，难以实现实时配准。因此，只针对后者进行研究与讨论，所得结论只限于此类的非刚性配准方法。

基于有监督学习，获取标签有两种方式：

一、利用传统的经典配准方法进行配准，得到的变形场作为标签；

二、对原始图像进行模拟变形，将原始图像作为固定图像，变形图像作为移动图像，模拟变形场作为标签。

基于非监督学习的配准，将配准对输入网络，获得变形场，对移动图像进行变形插值，即得配准图像。三维图像与之类似，将三维图像输入网络，获得变形场（dx，dy，dz），再插值得到配准图像。

可以发现一个趋势，即研究在逐渐从部分依靠深度学习（如利用深度学习网络结果，初始化传统方法优化策略）到完全依靠深度学习（即基于非监督学习的配准方法，学习网络直接获得配准图像）实现配准任务的方向转变，深度学习在配准任务上发挥越来越大的作用与潜能，配准效果与传统经典方法相近，甚至更好。如果妥善解决训练数据集匮乏问题，能更好地发挥基于深度学习的配准方法的优势，实现配准效果更好，速度更快。

关于基于深度学习的医学图像配准，本人额外需要补充的是，在 voxelmorph 工作中 MIT 的研究人员介绍了一种机器学习算法，能够使用全新的学习技术以超过 1000 倍的速度配准脑部扫描图片和其他 3D 图像。

但是医学图像配准当下仍然是一个未解决的经典问题（不论是传统方法还是深度学习方法），该领域没有公认的黄金标准，也没有相应的大型数据库，要解决该问题依旧任重而道远。

三、相关关键词：

相近词：image registration (mapping matching, co-registration alignment, fusion)[1]

相近领域： 图像融合，图像拼接，图像分割，超分辨率

使用方法：相似性测度，配准精度，配准算法，小波变换，互信息，仿射变换，特征提取，特征点匹配，相位相关，角点检测，边缘检测，旋转角度，相位相关，遗传算法，深度学习

应用领域：医学图像，遥感图像，天气预测，地理信息系统，超分辨率，运动追踪，自动控制

四、问题分类

基于问题特点的分类

1.Registration Quality: 配准性质

根据数据或特征确定的配准类型。

2.图像采集方式

2.1Multi-view Analysis: 多视图配准

同一物体在同一场景不同视角下的图像配准。如图像蒙太奇（拼贴），从2D图像重建3D模型等。

Images of the similar object or scene are captured from multiple viewpoints to gain a better representation of the scanned object or scene. Examples include mosaicking of images and shape recovery from the stereo.

2.2Multi-temporal Analysis: 多时相配准

同一物体在同一场景同视角不同时间的图像配准。如运动追踪，肿瘤生长情况跟踪等。

Images of the same object/ scene are captured at various times usually under dissimilar conditions to notice changes in the object/ scene which emerged between the successive images’ acquisitions. Examples include motion tracking, tracking the growth of tumors.

2.3Multi-modal Analysis: 多模配准

由于医学成像设备可以提供关于患者不同信息不同形式的图像（计算机断层扫描CT，核磁共振MRI，正电子发射断层成像PET，功能核磁共振fMRI等），所以根据模态又可以划分为单模态和多模态（Multi-modal）。

It may be mono-modal (which is also termed as intra-modal) using modalities like Computed Tomography (CT), Magnetic Resonance Imaging (MRI), Positron Emission Tomography (PET), Single Photon Emission Computed Tomography (SPECT), Ultra Sound (US), or X-ray or Digital Subtraction Angiography (DSA) or multimodal (which is also known as inter-modal image) employing two or more modalities mentioned above.

Figure 1 MEG-MRI多模态配准

3. Subject of Registration: 配准主体

以医学图像配准为例，可分为Intrasubject（图像来自于同一病人），Intersubjective（来自不同的病人）和Atlas（病人数据和图谱的配准）三种。

Same subject is considered for intra-subject registration. If the subjects are different then it is known as inter-subject registration.

Object of Registration: 配准物体（头、胸、腹、膝盖）

4. Dimensionality: 图像空间维数

若仅考虑空间维数，可以划分为2D/2D, 2D/3D, 3D/3D。若考虑时间序列因素，还存在对在不同时刻提取的两幅图像进行配准的问题。

This specifies the dimensions of different possible registrations. It may be 2D-2D, 2D3D or 3D-3D based on the requirement.

5. Domain of transformation: 图像转换区域（全局/局部配准）

It may be global when the entire image is to be registered or it may be local when a portion of the image is taken into consideration for registration purpose.

6. Type of transformation: 变换性质

对图像进行空间变换可以分为刚体变换（rigid）和非刚体变换（non- rigid, deformable）。通常有刚体变换，仿射变换，投影变换和曲线变换。

It may be rigid (translation, rotation, reflection), affine (translation, rotation, scaling, reflection, shearing), projective or non-linear.

7. Parameters of Registration: 算法参数

当比较特征采用特征点集的形式时，可以通过联立方程组来找到变换的解。但一般情况下，配准问题都会转化为求解相似性测度最优值的问题，在计算方法中通常需要采用合适的迭代优化算法，诸如梯度下降法、牛顿法、Powell法、遗传算法等

These are obtained employing search-oriented methods. The optimum parameters found from a search method (e.g., a heuristic search method) determines the quality of transformation and hence the registration.

8. Nature of Registration basis: 配准基准的性质

根据算法所基于的特征及相似性测度。

8.1 基于内部特征。内部特征指的是从图像内部本身提取的信息：

基于特征点：在几何上有特别意义的可以定位的特征点集（比如不连续点，图形的转折点，线交叉点等），在医学图像上更可以是具有解剖意义的点。

基于表面：用分割的方法提取出感兴趣的部分的轮廓（曲线或曲面），以作为用来比较的特征空间。

基于像素值：利用整幅图像的像素或体素（Intensity-Based）来构成特征空间。根据像素值的统计信息来计算相似性测度又可划分为最小二乘法，傅里叶法，互相关法，互信息法等等。

8.2 基于外部特征。

在医学图像中，通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点，称为外部特征点。

8.3 基于不同装置成像坐标的配准

9. Interaction: 互动性（互动，半自动或自动）

It may be interactive, semi-automatic or entirely automatic.

根据算法本质的分类

图像配准最本质的分类是：1.基于强度的图像配准；2.基于特征的图像配准。

具体的图像配准算法是基于这两点的混合或者变体的算法。

五、图像配准通用流程

通常，图像配准技术包括四个方面：变换模型、特征空间、相似性测度、搜索空间和搜索策略。依据这四个特性，图像配准的步骤一般可分为以下五个步骤：

根据实际应用场合选取适当的变换模型；
选取合适的特征空间，或者是基于灰度的或者是基于特征的；
根据变换模型的参数配置以及所选用的特征，确定参数可能变化的范围，并选用最优的搜索策略；
应用相似性测度在搜索空间中按照优化准则进行搜索，寻找最大相关点，从而求解出变换模型中的未知参数；
将待配准图像按照变换模型逐像素一一对应到参考图像中，实现图像间的匹配。

其中，如何选取合适的特征进行匹配是配准的关键所在。

基于特征的图像配准通用流程

1.Feature detection: 特征检测

2.Feature matching: 特征匹配

3.Transform model assessment: 图像变换模型的评估

4.Image transformation: 图像变换

六、图像配准质量评估标准(performance measures)

必须有某种方法来评估图像配准的质量，与此同时，针对不同类型的图像需要使用不同评估标准。目前没有一个绝对的金标准（gold standard）可以评估图像配准的质量。

下面仅以医学图像为例，列举两种最经典的评估方法：单模图像配准常使用相关性（Correlation Coefficient, CC）来衡量效果，而多模图像配准常使用互信息(Mutual Information , MI)衡量。

Correlation Coefficient (CC):

对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列，采用使图像间相似性最大化的原理实现图像间的配准，即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转。相关性主要限于单模图像配准，特别是对一系列图像进行比较,从中发现由疾病引起的微小改变。

[å¬å¼]

Mutual Information (MI):

由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设，也不需要对图像作分割或任何预处理，所以被广泛地用于CT/MR、PET/MR等多种配准工作。最大互信息法几乎可以用在任何不同模式图像的配准，特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。

[å¬å¼]

其他领域的图片及其相应图像配准评估方法待补充。

医学图像领域仍有其独特的困难和挑战

1.缺少（带精确标注）的大型数据库
2.特定任务需要有领域专家进行指导
3.不同专家间的意见也难以一致
4.二分类模型过于简单难以胜任更复杂的情形
5.医学图像数据类别严重不均衡
6.医学图像分析的困难还存在于图像分析之外（需要充分利用关于患者的其他维度的信息，如年龄病史等）
7.基于切片的神经网络难以利用原图像中对应解剖结构的位置信息，但将整张图片传入神经网络的做法又有相应的缺点。