医学图像配准论文学习——基于相似性注意力的CNN，用于稳健的3D医学图像配准（2022

论文链接：Similarity attention-based CNN for robust 3D medical image registration - ScienceDirect

---

摘要

在这项研究中，我们提出了一种基于相似性注意力的卷积神经网络（CNN），用于准确和鲁棒的三维医学图像配准。我们首先引入一个基于相似性的局部注意力模型作为构建位移搜索空间的辅助模块，而不是基于原始数据的直接位移预测。该模型可以帮助网络关注具有高相似性的空间对应关系，而忽略具有低相似性的空间对应关系。然后将多尺度CNN与基于相似性的局部注意力集成，以提供非局部注意力，轻量级网络和从粗到细的配准。我们评估了所提出的方法在各种应用中的应用，例如在不同呼吸阶段获取的大范围腹部计算机断层扫描（CT）图像和胸部CT图像的配准，以及磁共振成像中的图谱配准。实验结果表明，与现有配准方法相比，所提方法能够提供更准确、更稳健的配准性能。

一、方法

可变形配准子网是所提方法的核心，决定了最终配准精度。它由三个部分组成：多尺度特征提取器、相似性注意模型和变形场估计器。首先，使用多尺度特征提取器将输入图像编码为三级缩放特征表示。接下来，对每每个缩放特征使用相似性注意力模型构建相似性注意力图。最后，利用相似性注意图、输入图像特征和上尺度变形场（下尺度无变形场）利用变形场估计器估计密集变形场。

SAN框架
 

1.1 多尺度特征提取器

仿射配准后，使用多尺度特征提取器生成移动和参考输入图像的三级特征，多尺度特征提取器包括三个编码块，每个编码块由一个卷积层和一个 LeakyReLU 激活层组成。所有缩放的特征都直接来自输入图像，而不是来自前一层中的特征，这与现有的基于金字塔的DL配准方法[2]，[34]不同。这种特征提取策略可以减少不同层次特征的相互干扰，使网络更容易训练和收敛。

 注：如何实现？调整步长；也就是说使用视野不同的卷积核来提取特征

1.2 相似性注意模块

这一模块是最重要的部分：注意到这一部分进行的是局部相似性注意力图。why？因为对整个图像进行相似性计算是高度复杂且占用内存的。

 我的理解是：给定移动图像的特征中以i为中心的块Pm i∈Rh×w×d×c和参考图像中以i为中心的局部搜索窗口Pr i∈Rh×w×d×c，我们首先将它们转换为两个新的特征空间f和g——这一步通过1*1*1的卷积实现。这种卷积可以用来改变数据的通道数，从而学习数据的通道关系，换言之，可以实现特征选择和降维。

然后，对于移动图像的特征，我们对块Pm si∈Rh×w×d×c应用平均池化，以获得二维（2D）特征矩阵Sms i∈R1×c，表示像素i处的编码特征。对于参考图像的搜索窗口中的特征Pr si∈Rh×w×d×c，它们被展平为2D特征矩阵Srs i∈Rhwd×c。最后，计算相似性注意力：SA(i)=Srs iSms iT，其中T表示转置操作。

注：如果对这部分的矩阵计算感到困惑，建议画一个图来描绘这个过程

 SA（i） 存储相似性关系，用于将像素 i 与其在另一个图像中的相应像素相关联。通过对所有像素进行此计算，可以轻松构建整个图像的相似性关系。获得相似性关系矩阵后，这一模块通过在相似性关系矩阵上应用卷积层来输出类似于变形场的相似性注意力图。需要注意的是，1/16比例水平的相似性注意力图是利用固定图像和运动图像的特征计算的。相比之下，1/4比例和原始缩放级别的相似性注意图是使用固定图像和扭曲后的运动图像上的特征计算的，这里运动图像的扭曲是使用在前一个级别预测的2倍上采样变形场计算的。也就是说，在上一级（也即是1/16比例的那级）先得到一个变形场，将运动图像扭曲后，在进行一次注意力计算。

 1.3 由粗到细的变形场

变形场估计器首先预测较低分辨率（较粗）的变形场，其中共享相同位移矢量的相邻像素被分组。这种分组是通过在较低分辨率下预测形变场来实现的。在较低分辨率下，每个像素都代表原始图像中的一个像素块，因此共享相同位移矢量的相邻像素被自然地分组在一起。然后，它们估计更精细的场，其中分组的像素更少。最后，它们产生与输入图像具有相同分辨率的形变场。

 

上图显示了第i级形变场估计过程的示意图。

对于1/16缩放级别，连接的特征包括参考和移动图像特征以及相似性注意力图，它们在图中用蓝色标记。此外，1/4缩放级别和原始级别的连接特征包括当前级别的移动图像扭曲特征和来自前一级别的上采样形变场，它们在图4中用黄色标记。我们使用几个残差网络（ResNet）块来解码连接的特征，ResNet块的输出用作下一个ResNet块的输入。在实验中，ResNet块的数量设置为五（四个具有48个特征通道和一个具有24个特征通道）。

对于连接的特征，参考和移动图像的特征提供初始图像信息。相似性注意力图和移动图像扭曲特征可以有效地帮助网络检测信息匹配/不匹配。

损失函数部分常规，略过。

二 实验及结论 

todo