Unsupervised domain adaptation for cross-modality liver segmentation via joint adversarial learning

0.Motivation

CT 数据较多 较可信
MRI 含有较多的信息
因此希望可以将学习到的知识从包含标记CT图像的源域转移到包含未标记Mr图像的目标域，希望实现无监督域自适应（这有什么因果关系吗？）

文章是MICCAI2019 作者是来自港中文

1.Contribution

1. 提出了一个使用对抗学习和自学习的多模态（unpaired CT and MRI）无监督的 肝脏分割模型
2. 提出了一种对抗性学习的后原位（post-situ）识别方法，以关注目标域和源域之间的任务相关特征的对齐。( 使用这种技术的目的是为了避免对齐冗余特征的分布。
3. 提出了一种语义感知和形状熵（）感知的对抗性学习，以对齐从目标和源域提取的潜在空间的底层特征的分布 为了对齐从源域和目标域中提取的低级任务相关特征的分布
4. 提出了一种伪标签生成的平均补全方法和低信号增强函数 为了提高模型的鲁棒性
5. 提出了一个叫做student-to-partner 的自学习机制 为了提高模型的准确率

2. Network structure

U1-U4 是正常的分割网络 D1和D2是基于自学习和对抗网络的鉴别器 U3是主要分割MRI的
U1先开始在CT 上进行有监督的学习，U1 与 U2 共享权重，训练U3的时候冻结，只有绿色部分的参数才在训练的过程中参与更新

Segmentation Network Structure
U1-4 都是含有attention 模块的U-net

Post-situ identification for adversarial learning

D3 和 D1 是用来判断是否domain adaptation的能力
Loss 就是很自然的Gan的Loss

Semantic-aware and shape-entropy-aware adversarial learning

这里是说self-information 可以从图中看到非常的亮或者是暗 这里说明其结果非常的接近0或者是1。通过这种方式来确定边界

然后设计出一个gan进行训练

Mean completer of pseudo-label generation

是U2 U3 和 U4 的输出

用来生成伪标签 感觉还挺work

Low-signal augmentation function
感觉是个很好的track Mark 一下

比min-max 的normalization 要复杂一些
结果如下：

** Pixel-adaptive mask refinement**

把这些方法作为self-learning来提升模型的分割效果 感觉可以考虑

Student-to-partner learning

3.Result

原文针对每个部分都进行了分析

工作量很大 内容很充分 而且提出了许多有趣的问题的paper