Deep Learning Based Registration文章阅读(六)《Adversarial learning for mono- or multi-modal registration》

Deep Learning Based Registration文章阅读(六)

《Adversarial learning for mono- or multi-modal registration》是MIA 2019的一篇文章，是做多模态比较早的一个文章，但是这篇文章不仅是做多模态，它的卖点应该是用GAN来做一个learning-based metric，因为其实pre-designed的metric好像都会限制网络的能力，不管是在单模态还是多模态中。所以这篇文章的motivation也是这个。

Framwork

因为做的比较早，所以其实这篇文章的framework还是比较简单的，如下图：

就是利用GAN网络的判别器D来评估一对图像配准效果，用一个0-1的值来表示。配准网络是一个U-net。 不过值得一提的是，这里判别器D的正例负例不像GAN做Translation的时候那么“显式”。之前GAN网络，生成器生成的是负例，原图像是正例。这里的话，正例图像是fixed和reference图像对，负例图像是fixed和warped图像对。在单模态下，reference，是fixed image和moving image的加权平均，这里fixed image的权重是0.8，moving image的权重是0.2（自然的想法，fixed image的权重最起码要大于0.5）。在多模态下，reference是一些数据集中配对好的图像。具体的子网络结构就不列了，可能比较简单。

Results

简单列下定量结果：
单模态数据集结果：

多模态数据集结果：