Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration

 

一、Motivation

1. 传统的配准方法试图基于基于强度的相似性度量来优化变形场。这些方法通常涉及计算量大的高维优化和与任务有关的参数调整。

2. 最近的基于CNN的有监督配准方法虽然能够一定程度上解决传统方法的缺点，但是受限于ground-truth的真实性。

3. 在无监督的CNN方法利用相似性指标作为损失函数的一部分，这些相似性指标与图像的性质密切相关，可能不适用于处理各种数据集。

二、Contributions

1. 与传统的配准方法相比，无需参数调整，就可以开发出强大而快速的端到端One-shot配准。

2. 与监督学习配准方法相比，该网络不需要ground-truth。 该网络以对抗性和无监督的方式进行训练。

3. 提出的对抗相似性网络学习了有效训练配准网络的度量。

三、Method

网络的总体结构图如下图所示：

分为两个部分：1）配准网络R 2）判别器网络D

首先对于配准网络其输入是Moving image 和 Fixed image对应位置的块。网络结构是BIRNET(https://www.sciencedirect.com/science/article/abs/pii/S1361841519300283)。然后该网络输出就是变形场。

在R网络之后是一个Deformation Transformation Layer 用于对Moving image进行变换。得到Warped image。

网络D用于判断输入的图像对是否相似。正样本表示很好的配准，负样本宝石配准不好。损失函数如下图所示。

D网络网络结构下图所示。输入是一对图像块，最终是一个概率预测。表示两个块相似程度，以此来代替相似性度量。

损失函数：

一个变形场平滑项和一个对抗损失项。

关于正样本和负样本对

理想的正样本是两张图像完全相似，但是在实际配准下是不可能发生的。所以对正样本对加入一些干扰。

四、Experiment

五.总结

1. 文章中没有用到相似性度量函数，而是用概率来表示配准效果

2. 虽然文章有提到gan，但我觉得这是蹭概念。

3. 猜想对于训练图像加噪音可以用其他的方法，而且配准网络也可以用其他现有的网络结构试下。