图像配准学习记录1

"如何做到精准努力" "世上从来没有盲目努力的成功，唯有多思考、善行动，不断精进自己，你所期盼的定会如约而至"

1. 努力前先深度思考
2. 敢于行动，拒绝内耗
3. 保持勤奋常态化
4. 坚持复盘

基础概念

1. 目的：在于比较或融合针对同一对象在不同条件下获取的图像. 具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的.
2. 意义：将各种图像结合起来，在同一图像上显示各自的信息，提供多数据多信息的图像. To efficiently utilise and fuse such heterogeneous information, acquired images have to be spatially aligned, a process known as image registration.
3. 多模态图像特点：Multimodal registration is often required and performed in medical and satellite imagery, where valuable information is in many situations acquired using several different sensors (有价值的信息需要通过几种不同的传感器获得的). In cases when image appearances differ significantly between modalities, e.g., due to different underlying physical principles of imaging, assessing image similarity and finding correspondences across modalities are, in general, very difficult tasks（当不同模态之间的图像外观存在显著差异时，例如，由于成像的基本物理原理不同，评估图像相似性和发现不同模态之间的对应关系通常是非常困难的任务）.

配准方法分类

根据待配准图像类型可分为单模态配准和跨模态配准

根据配准变换类型可分为刚性配准、仿射配准和可变形配准

Image registration methodologies can roughly be classified into intensity-based and feature-based methods. 基于强度的方法和基于特征的方法

1. 基于强度的方法通常将图像配准表述为一个优化问题，对于该问题，使用图像相似性度量(或相反的表述，差异度量)来评估对齐的质量.
2. 基于特征的方法检测图像中的显著结构，并找到它们之间的对应关系，以指导配准. 常用的特征点检测和描述方法有SIFT和ORB.

现有的跨模态医学图像配准技术可划分为两大类：1)改造现有单模态配准的损失函数，设计跨模态图像的相似度度量指导无监督可变形配准网络学习；2)基于跨模态图像转换的m2u(multimodal to unimodal)配准方法，即借助现有图像转换技术将跨模态图像配准转化为单模态配准任务.

1. 基于跨模态图像相似度度量的配准技术
   这类方法基于跨模态图像相似度损失直接进行不同模态图像配准任务。由于跨模态图像间存在巨大的外观差异，传统的单模态图像相似度度量大多不再适用于跨模态配准任务。所以，亟需设计出有效的跨模态图像相似度损失，用于指导无监督跨模态配准网络的训练。为了克服这一挑战，Mattias等人基于图像自相似性概念提出了一种模态独立领域描述子MIND。MIND对不同模态间的显著差异具有较高鲁棒性，能够有效刻画跨模态图像的相似度。这类技术的代表性方法是VoxelMorph框架+MIND相似度度量。它将跨模态相似度度量MIND作为损失函数，直接扩展应用到典型的无监督配准框架VoxelMorph中，用以指导网络根据多模态输入图像学习可变形映射关系。
2. 基于跨模态图像转换的M2U配准技术
   提出了一种基于伪模态转换结合鲁棒特征的 红外图像和可见光图像配准算法。针对红外图像 与可见光图像配准过程因模态差异大难匹配的问题，基于生成对抗网络从可见光图像中生成相应的伪红外图像，降低模态特征提取难度。针对在尺度变换情况下算法鲁棒性不强、特征点难配准的问题，首先通过 SURF 算法提取待配准图像的特征点位置，利用改进的鲁棒特征描述子 PIIFD 提取特征向量；其次基于 Hilbert 空间重构的核方法，建立了 单高斯鲁棒点匹配模型这类方法基于跨模态图像相似度损失直接进行不同模态图像配准任务。但是模态转化的效果很大程度依赖于训练的数据量，所采用的训练数据集有限，图像覆盖的场景和种类不全。

多模态图像配准难点：However, in multimodal setting, images typically convey complementary information; features that are present in one modality may be absent in another (在多模式设置下，图像通常传达互补的信息;在一种模态中存在的特性可能在另一种模态中不存在). Additionally, feature-based methods struggle with the general lack of salient structures in biomedical datasets (生物医学数据普遍缺乏显著结构的问题使得基于特征的方法不适用).

基于模态转换的配准方法

The recent success of image-to-image (I2I) translation in computer vision applications and its growing use in biomedical areas provide a tempting possibility of transforming the multimodal registration problem into a, potentially easier, monomodal one. （图像对图像(I2I)转换在计算机视觉应用中的成功及其在生物医学领域的广泛应用，为将多模态配准问题转化为可能更简单的单模态配准问题提供了诱人的可能性）

转换模块

1. pix2pix：在训练过程中使用对齐的图像对
2. CycleGAN
3. DRIT++
4. StarGAN-v2
5. CoMIR：在训练过程中使用对齐的图像对

配准模块

1. Iterative registration by Mutual Information maximisation：greyscale data
2. SIFT feature detecting and matching：greyscale data
3. α-AMD：greyscale data
4. CurveAlign

RGB to greyscale: L = 0.299R + 0.587G + 0.114B

多传感器配准

1. 目的：多传感器配准技术是多传感器数据融合中的一个重要环节。传感器网络可以从许多独立运行的传感器中获得大批数据进行融合从而形成状态互补，利用多传感器构成的传感器网络具有增大数据的覆盖面、增强系统的可靠性和鲁棒性等优点。在进行数据处理过程中，为获得目标的可靠信息需把局部传感器测得的数据转换到公共参考坐标系中，但由于存在传感器的偏差和测量误差，直接进行转换很难保证精度和发挥出利用多传感器的优越性；因此在对多传感器数据进行处理时需要一些传感器的配准算法。

评价配准效果指标

参考文献 

1. Is Image-to-Image Translation the Panacea for Multimodal Image Registration? A Comparative Study. ArXiv, 2021. https://github.com/Noodles-321/Registration
2. Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation. IJCAI, 2022. https://github.com/heyblackC/DFMIR
3. Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation. CVPR, 2020. 基于几何保持的I2I translation的无监督多模态图像配准 
4. 杨冰超, et al. "基于模态转换结合鲁棒特征的红外图像和可见光图像配准." 激光与光电子学进展 59.4 (2022): 0410013.