【论文阅读】Unsupervised registration for liver CT-MR images based on the multiscale integrated spatial-we

paper：Unsupervised registration for liver CT-MR images based on the multiscale integrated spatial-weight module and dual similarity guidance​​​​​​

基于存在的问题：

• 由于多模态图像在强度尺度和纹理模式上存在较大差异，因此设计有特色的相似性度量来指导基于深度学习的多模态图像配准是一个巨大的挑战。
• 此外，由于感受野较小的限制，现有基于深度学习的方法主要适用于小形变，而对于大形变则无能为力。

contributions：

• 提出了一种多尺度集成的空间权重模块，通过利用多层次的空间和上下文信息来帮助突出大变形区域。该模块是一个双通道输入的空间注意力模块，它可以在没有非常大的接收域的情况下捕获语义上下文特征。与常见的单通道输入-输出注意力模块相比，我们的空间权重模块整合了来自不同卷积层的多尺度信息来自适应地选择特征，这使得网络能够更准确地估计形变场。
• 为了实现全面的无监督配准，提出了一种基于全局互信息( MI )和局部模态独立邻域描述子( MIND )的特殊损失函数来迭代多模态配准网络。全局相似性有助于约束整体变形，而局部结构特征则被考虑用于优化局部变换。
• 为了进一步降低感受野的限制，使用多分辨率架构将大变形配准转化为分步局部优化问题。具体来说，该网络从粗分辨率图像中捕获全局形变，然后使用更精细的分辨率图像对其进行不断细化。此外，为了减少变形场的级联误差，我们直接测量从头开始的最高分辨率图像的相似性。

网络架构：

        下图是总体架构：配准网络设计为多分辨率架构，仅输出分辨率最高的形变场。双重相似性由互信息( MI )和模态独立邻域描述子( MIND )组成，这有助于约束全局和局部优化。

 

         该框架以F和M作为输入，使用图像配准网络计算形变场。配准网络设计为多分辨率架构，仅输出分辨率最高的形变场。然后利用空间变换网络得到移动图像M ( φ )。利用全局MI和局部MIND的双重相似性来指导网络参数的优化。此外，除通常的平滑正则化项，添加一个负雅克比正则化项来惩罚折叠体素，并保证整个形变的平滑性和拓扑保持性。所提出的网络以端到端的方式进行训练，直接从零开始测量最高分辨率图像的相似性。

Multi-resolution image registration architecture：

        多分辨率图像配准架构类似于LapIRN和残余形变估计。不同的是，这里使用原始图像对作为输入，而不需要专门设计的特征图。如下所示为架构图：

• 给定一对输入图像( F和M)，首先构建图像金字塔通过对输入图像进行1次和2次下采样。
• 然后，我们利用3D ms - RNet来估计每个级别的变形。ms - RNet是一个带有多尺度集成空间权重模块的配准网络。对于底层，ms - RNet从最粗分辨率图像( F2和M2)中提取非线性失准特征，输出3通道稠密形变场φ 2。然后对于中间层，为了拟合尺寸，我们首先对φ 2进行上采样得到φ ' 2，对M1进行扭曲得到移动图像M1( φ ' 2)。然后，我们将中分辨率图像对( F1和M1 ( φ ' 2) )拼接起来作为新的输入。由于M1( φ ' 2)在中间层代替了M1，使得配准网络估计的形变场是一个残余形变场：φ r1。因此，实际变形场φ 1需要加入底层变形场。顶层重复前面的过程，得到最终的形变场φ。

Details for the ms-RNet：

        将多尺度集成的空间权重模块嵌入到图像配准网络中，以自适应地对特征进行加权。

        ms - RNet的结构如图所示，由一个编码器-解码器网络和多尺度集成空间权重模块组成的U形结构。该网络采用F和M级联形成的两通道输入，通过编码和解码阶段的3D卷积、最大池化和上采样，形成3通道输出的密集形变场。

        在编码器阶段，有两个子采样层。在每个子采样层中，两个卷积层(核大小为3 ，步长为1)提取不同层次的图像特征，并使用ReLU层进行激活。然后，采用步长为2的最大池化层压缩特征来降低空间维度。

        在解码器阶段，经过一个上采样层后，特征图将首先与空间权重特征进行级联，然后通过两个3 × 3 × 3的卷积层进一步解耦特征，提高网络的非线性映射能力。一般来说，U - Net在做深度卷积时通常使用跳跃连接来避免低层特征的消失。用多尺度集成空间权重模块改变跳跃连接，将多尺度信息合并成一个空间特征表示。模块的输出与解码器级的对应层相连接，得到精细化的形变场。最后，应用具有软体征激活的3D卷积层来输出最终的形变场。

        空间权重模块如图 ( b )所示。通过结合多尺度特征重置空间权重，有助于保留相关激活和去除无关响应。

        如何计算空间权重：

• 首先从解码阶段对低尺度特征图L进行上采样，得到新的特征图Lup∈R C × H × W × D，它与高尺度特征图H∈R C × H × W × D在通道数和图像大小上一致。
• 然后，对Lup和H应用沿通道轴的最大池化操作，并将它们相加，构建高效的上下文特征。沿通道轴应用池化操作已被证明在突出信息区域方面是有效的。
• 上下文特征由卷积层卷积、sigmoid激活，对空间权重图Msw进行归一化，抑制噪声。
• 最后，Msw与H逐元素相乘得到具有丰富上下文信息的空间权重特征Fsw∈RC × H × W × D。

Dual similarity-based loss：

 全局相似性互信息MI：

给定图像A、B

局部结构相似度MIND：

基于双重相似性的损失：

实验结果：