【论文阅读】Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation

CVPR(2020)

paper：Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation

背景：

        大多数多模态配准方法使用流行的跨模态相似性度量来计算图像之间的空间对应关系。本文核心思想是学习两个模态之间的翻译，而不是使用跨模态的度量。

        在这项工作中，本文绕过了开发跨模态相似性度量的困难，通过在两个输入模态上训练一个图像到图像的转换网络。这种学习到的翻译允许使用简单可靠的单模态度量来训练配准网络。我们使用两个网络进行多模态配准- -空间变换网络和翻译网络。通过鼓励平移网络保持几何不变，我们可以训练一个精确的空间变换网络。

        整体架构如图1所示，空间变换后的图像通过一个可学习的网络进行翻译。然后，翻译图像可以使用简单的单模态度量与原始源图像进行比较，而不需要使用跨模态度量。使用可学习的翻译网络的好处在于泛化并适应任意一对给定的模态。

contributions：

• 多模态图像配准的无监督方法的提出。
• 一个几何保持的翻译网络，允许在多模态配准中应用单模态度量。
• 一种鼓励生成器几何保持的训练方案。

网络架构：

        配准网络由两个部分组成：

• 空间变换网络R = ( RΦ , RS)
• 图像到图像的转换网络T
• 两个组件同时使用两个训练流程进行训练，如图2所示。空间变换网络取两幅输入图像，并产生一个形变场φ。然后在T之前(图2b )或之后(图2c )施加形变场。具体来说，该形变场由一个网络R Φ生成，并通过一个重采样层RS得到变换后的图像，即RS ( T ( a )，φ )和T( RS ( a , φ) )。

        配准网络( R = ( RΦ , RS) )是由全卷积网络R Φ和重采样层RS组成的空间变换网络( spatial transformation network，STN )。应用的变换是一种非线性的稠密变形- -允许图像之间的非均匀映射，从而给出精确的结果。

Rφ - -变形场生成器：

        该网络取两幅输入图像Ⅰa和Ⅰb，并产生一个描述如何非刚性从Ⅰa对齐到Ⅰb的形变场φ = R(Ⅰa、Ⅰb)，

RS -重采样层：

        该层接收由R Φ产生的形变场φ，并将其应用在源图像Is上。这里，源图像不一定是Ia，它可以来自A或B两个域。

Geometric Preserving Translation Network:

        本文的一个关键挑战是训练图像到图像的转换网络T是几何保持的。如果T是几何保持的，这意味着它只执行光度映射，因此配准任务仅由配准网络R执行。然而，在实验中，观察到T倾向于生成与真实图像在空间上对齐的假图像，而不管R的精度如何。为了避免这一点，可以通过减少T的容量(层数)来限制T执行任何空间对齐操作。虽然降低T的容量确实提高了配准网络的性能，但是它仍然限制了配准网络完成所有的配准任务。

Translation First - (R ◦ T) (Ia, Ib):

        该映射首先对Ia进行图像到图像的转换，然后对转换后的图像进行空间变换。具体来说，首先在Ia上施加T，生成一个伪样本OT = T ( Ia )，从而得到最终的图像。然后将空间变换网络R应用在OT上，得到最终的输出：

 Register First - (T ◦ R) (Ia, Ib)：

        在本文中，首先对Ia进行空间变换，得到变形后的图像OR = R( Ia , φ)。然后，使用翻译网络T将OR翻译到领域B：

Translation First - (R ◦ T) (Ia, Ib)和Register First - (T ◦ R) (Ia, Ib)两部分重采样器Rs所使用的形变场由R Φ给出，唯一的不同是在源图像中，从源图像中对变形图像进行重采样。在这一部分中，将ORT和OTR分别称为R ◦ T和T ◦ R的输出。

Training Losses：

        为了训练R和T生成与B域相似的伪样本，使用L1 -重构损失，最小化此损失即意为着

T ◦ R ≈ R ◦ T 。

        本文使用条件生成对抗网络( cGAN ) 作为对抗损失来训练D、T和R。对抗网络D的目标是区分真假样本，而T和R是联合训练来欺骗判别器。对于T ◦ R ≈ R ◦ T，cGAN的损失公式如下：

        整体损失如下：

实验结果：

        从上表可以看出，使用规定的跨模态相似性度量训练配准网络R的效果并不好。进一步地，使用这些NCC会产生噪声结果，而使用SSIM可以得到平滑但精度较低的配准。

总结：

        提出了一种基于图像到图像转换网络的无监督多模态图像配准技术。本文的方法，不需要在不同模态的图像之间进行任何直接的比较。相反，开发了一个几何保持的图像到图像转换网络，它允许使用简单的单模态度量来比较变形和目标图像。通过一种新颖的训练方案使几何保持的平移网络成为可能，该方案交替并组合两种不同的流来训练空间变换。进一步表明，使用对抗学习，结合单模态度量，即使在只有少量训练数据的情况下，也能够产生平滑和准确的配准结果。