AIRNet: Self-Supervised Airnet Registration for 3D Medical Images using Neural Networks

一、Motivation

1、不使用相似性度量函数，直接预测变换参数

2、提出的AirNet可以提取特征用于配准。

二、Method

论文的总体框架如下图所示:

AirNet的输入是参考图像和待配准的图像，输出就是预测变换参数。利用变换参数对待配准图像进行重采样，以获得warped image.

下图是Air-Net的网络结构图。类似于一个孪生网络。两个网络中的权重共享。网络的前一部分是一个Encoder，Encoder最后是一一个回归结构。Encoder的输出进行concatenation，在输入到回归层部分。

Encoder用于提取特征，从而更好的预测变换参数。

权重共享可以减少网络中的参数，以及防止过拟合现象的发生。

我们网络的另一个特性是2D和3D滤波器的混合物，旨在解决3D医学图像的各向异性，即输入图像的通道数与其高度和宽度相比要小得多。在Encoder前半部分滤波器是二维的。因此，特征在高度和宽度方向上的大小最终将与深度方向上的大小相似，此后将使用3D卷积和池化层。

Train

网络的损失是变换参数的偏差，在实际情况，这样的变换参数作为label我们是拿不到的。所以首先自己预先定义参数对图像进行变换。可以根据每个特定实验的目的来设置每种转换类型的范围。

上图是不同的训练集组成。模态如下：

1 三种模态图像都有，但是每一对都是同一种模态。

2 每一对都是一种模态，但是只有T2 和 T1wieghted。

3 对于每个患者，T2和T1加权图像已经对齐，因为它们都是通过一次扫描获取的，因此，我们构建了一个数据集，在每个图像对中都具有这两种不同的模态。

LOSS

三、Experiments

文章中用的两种度量指标