医学图像配准论文学习——用于医学图像逆一致微分同胚配准的对称金字塔网络（2023

本文链接：Symmetric pyramid network for medical image inverse consistent diffeomorphic registration - ScienceDirecthttps://www.sciencedirect.com/science/article/abs/pii/S0895611123000022

摘要

在过去的几年里，基于深度学习的图像配准方法在医学图像分析中取得了显著的性能。然而，许多现有方法在无法在保持最终变形场的理想的微分性质和逆一致性的同时，确保准确配准。为了解决这个问题，本文提出了一种用于医学图像逆一致微分同胚配准的新型对称金字塔网络。

tip：逆一致配准指正向配准结果的反变形场等于逆向配准结果，反向配准结果相同。逆一致性不等于可逆性，并且微分同胚算法默认不是逆一致性。为了到达逆一致性，方法应该是对称的，并且加如逆一致损失 inverse consistent error,。逆一致性在分析细微解剖结构的变化中起着至关重要的作用。

一、介绍

我们提出了一种用于医学图像逆一致性微分同胚配准的对称金字塔网络。在我们的网络中，输入图像的多尺度信息首先分别编码到特征金字塔中。然后逐步进行特征级微分配准，实现从粗到细的对齐。功能级注册以对称方式实现。具体来说，我们使用共享权重子模块来估计向前和向后特征配准速度场。然后对双向速度场求平均值，以获得更可靠的估计。最后，通过对称多尺度相似性损失对网络进行训练。考虑到我们的网络是完全对称的，我们可以同时生成双向结果，结果与输入图像的顺序无关。为了验证我们提出的网络的性能，我们在多个数据集上实施了实验，包括成人脑MRI，青少年脑MRI和膝关节MRI。定性和定量结果表明，我们的网络实现了更精确的对齐，并保持了理想的微分同胚性质和逆一致性。

主要贡献：

我们提出了一种用于无监督医学图像配准的对称金字塔网络，旨在实现准确的对齐，同时保持所需的微分同胚特性和逆一致性。

我们将多尺度图像编码到特征金字塔，并以从粗到细的方式进行特征级微分配准。

我们通过对双向速度场求平均值对称地实现特征级配准，并引入对称多尺度相似性进行优化。

我们在三个公共数据集上进行了实验，我们的方法在多个指标上显示出其优于其他方法，证明了我们网络的有效性和通用性。

提出的对称策略图示。分别进行前向和反向估计。对双向速度场进行平均，以获得更可靠的估计。为了优化，进一步引入了对称相似性。题

二、方法

1.概述——估计静止速度场（stationary velocity field）

在一般的DLIR方法，使用CNN直接估计位移场，再加上Id，就形成了变形场。这种方式是通用有效的，但临床价值不高（很难保证微分同胚性质，包括可逆性。）

这里的方式是估计静止速度场，变形场通过积分速度场得到，可表示为：

 优化过程为;

 分别表示未对齐的图像体积。

（a）对称金字塔网络和（b）对称特征配准。首先将输入图像分别编码到特征金字塔。然后，我们逐步从底层到顶层进行特征级配准。特征级配准以对称方式实现，并对估计的双向速度场求平均值以获得更稳健的估计。
​​​​​

注：这里的速度场是什么概念还不太明白。

看懂了什么是速度场，但不太明白为什么要通过积分速度场来“间接”得到位移场。一般的配准网络都是直接输出位移场的吧？

ok这个问题问newbing解决了，参见医学图像配准 | Voxelmorph 微分同胚 | MICCAI2019 - 知乎 (zhihu.com)

简单来说就是这种操作的目的是为了保证变形场的微分同胚性。微分同胚性是指变形场在变形过程中保持连续且可逆。速度场可以通过积分得到位移场，而且这种方法可以保证位移场的微分同胚性。对于部分图片变化太大，所以可能不存在静态位移场，所以用速度场来计算位移场。这种方法可以通过李代数和群论进行推导

2.多尺度图像编码

对图像 ，采用共享权重编码器网络获取两组特征金字塔。编码器德每一层金字塔都由两个三维卷积层组成，进行步幅为2的下采样（除了最后一层。激活函数使用LeakyReLU。为了弥补下采样过程中缺乏详细信息的不足，我们还通过额外的卷积层将从下采样图像中提取的特征连接起来。。编码过程为

C表示第i层金字塔，（包含两个操作：两层卷积御用于提取特征，一个附加卷积用于cancat）。I表示下采样得到的图像。见图：

---

 以从粗到细的方式从底层到顶层逐步进行要素级配准。随着特征中详细解剖信息的丰富，网络逐渐实现更准确的配准。

3.对称特征配准

3.1特征变形

基于图像金字塔的方法通常使用先前尺度的配准结果作为当前尺度的初始化。 具体地，利用前一阶段估计的变形场对当前阶段的运动图像进行扭曲，以减小图像空间中的对应距离。遵循这个想法，我们使用特征扭曲操作来减少特征空间中的匹配距离。

在第i层，先对之前的变形场做上采样，使用系数为2的三线性插值法

 

之后分别对正向和反向过程中翘曲相应的特征。整个过程：

 Fwa表示相应过程中的翘曲特征。

3.2双向速度场估计

在特征扭曲操作之后，我们使用速度场估计器为前向和反向配准生成临时速度场（temporary velocity fields）。估计器由三个卷积层组成。前两层用于进一步的特征提取，最后一层采用未激活得到临时速度场。前两层提取的特征图也进行上采样,作为下一级估计器的输入，以增加全局信息。因此，第i层的估计器的输入包含翘曲过的特征、相应的金字塔特征、上采样全局特征和上采样变形场。这些输入被连接并馈送到估计器。双向估计过程可以写成：

Est表示第i层的速度场估计器，Ffg表示从上一级别上采样的前向和后向全局特征。

3.3双向速度场平均

先前的研究在理论上表明，微分同胚系统的解是唯一且可微分的。在绝对理想配准下，双向静止速度场应该是对立的。在得到双向临时速度场后，求平均得到更鲁棒的估计。（？？？我不理解，这段的意思是不是指将之前的“临时”双向速度场求平均，使得Vab=-Vba，强行满足对立的条件）

最终第i层的速度场为：

3.4集成

在得到每层的平均速度后，通过积分速度场可以得到变形场。这里的推理需要李代数的知识（这个方法是2019年的，同见上面的知乎博客）

 

3.5对称多尺度的相似性

从下到上进行对称配准后，得到了两组变形场金字塔（共有四层）。然后采用对称多尺度相似性测度对变形场进行约束。相似性度量是使用归一化互相关 （NCC） 实现的。再加入正则化保证平滑。

总体损失为：

 注意到下采样图像中缺乏详细信息，所以为较高级别分配了较低的权重。