【论文笔记】PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network…

PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation

PnP-AdaNet：即插即用的对抗域适应网络，用于跨模态心脏分割的基准

论文地址：https://arxiv.org/pdf/1812.07907.pdf

代码地址：https://github.com/carrenD/Medical-Cross-Modality-Domain-Adaptation

领域自适应即Domain Adaptation是迁移学习中很重要的一部分内容，目的是把分布不同的源域和目标域的数据，映射到一个特征空间中，使其在该空间中的距离尽可能近。

个领域适应模块灵活地取代了源网络的早期编码器层，而较高的层则在领域之间共享。通过对抗性学习，我们建立了两个判别器，其输入分别为多级特征和预测的分割掩码。

背景

在医学影像分析中，图像可能来自不同的地点或不同的扫描协议甚至不同的成像模式（例如CT和MRI），相同的结构在不同来源的图像中有明显不同，导致深度学习模型在进行预测时表现不佳。在实践中，CT和MRI往往需要相同的图像分析任务，考虑到注释是非常耗时且昂贵的，需要一种方法能够有效的将在一种模式下训练的模型适用于另一种模式

创新点

通过对抗学习以无监督的方式进行跨模态域适应

贡献

1. 解决了用于医学影像分割的无监督跨模态域适应任务。提出了一种新型的PnP-AdaNet，通过即插即用的特征编码器实现了对分割CNN的灵活适应。

2. 通过对抗性学习，用未配对的MRI和CT图像学习该模型。为了加强鉴别器的监督，在训练过程中汇总了多层次的特征以及分割掩码预测。

3. 在多类心脏分割任务中验证了该方法。四个结构的平均Dice从13.2%提高到了63.9%。还对关键结构进行了全面的消融实验（消融实验：去掉某结构和不去掉该结构的网络进行对比，验证该结构的有效性）。

4. 为了促进未来MRI和CT跨模态域适应的研究，在心脏分割任务中引入了一个新的基准，展示了流行的域适应方法的性能。 

方法

无跳跃连接的分割网络

考虑到只更新较早层的编码器，而较高层的编码器是固定的，因此不同层的特征空间需要是独立的，不能相互混淆。这意味着不应使用跳跃式连接的网络架构，例如U-Net和DenseNet。否则，领域特定的低级特征将影响对齐的高级特征空间。

该网络的分割模型为一个膨胀的网络，有较大的感受野，并采用局部残差连接简化梯度流动。

使用监督学习在源域上训练分割网络。

即插即用的自适应机制

通过无监督学习将训练好的源域分割网络适应到目标域上。

与传统迁移学习相反，对于域适配，跨模态域之间的分布转移主要是低级特征，所以设计了即插即用的自适应机制，在新的目标域的分割中，替换掉一些早期的层，对高层进行重用。

用于对齐特征空间的对抗学习

通过对抗学习以无监督的方式训练即插即用的域适应网络。

DAM作为生成器，将输入的目标图像映射到源域的潜在特征空间。

共使用了两个判别器。第一个是绿色部分，将来自不同深度的层的特征聚合作为判别器的输入，由判别器产生的梯度可以通过多条路径流向DAM，从而对特征空间对齐进行监督。第二个是蓝色部分，将生成的分割掩码作为输入，当预测的分割掩码的形状或结构看起来是扭曲的(即，不像真正的掩码)，鉴别器会施加惩罚。

不足

网络骨干是2D CNN，将相邻的三个切片聚合起来作为模型的输入通道，会忽略掉空间维度上的上下文信息。采用2.5D或3D进行图像分割是有益的，但存在内存消耗和优化困难的问题。