Contrastive Semi-Supervised Learning for Domain Adaptive Segmentation Across Similar Anatomical Stru

Contrastive Semi-Supervised Learning for Domain Adaptive Segmentation Across Similar Anatomical Structures

原文：https://arxiv.org/pdf/2208.08605.pdf
免责声明：本人科研萌新，编写博客以记录精读过的论文，如有理解错误欢迎大佬指正，同时也欢迎大家在评论区交流。

摘要

作者提出了一种半监督的针对不同解剖结构的跨域模型，以解决不同域，结构，甚至不同解剖器官之间分割的问题，对每一个目标域和源域之间使用独特的归一化方法，在眼底视网膜上训练的结果可以很好的迁移到冠状动脉血管，视网膜眼底图像的训练结果也可以迁移到心脏MR影像上。

引言

• 医学图像上的问题：不仅标记十分昂贵，即使是那些没有标记的图像，也不容易获得，但现在的半监督如果没有足够多的无标记图像，效果也表现不好。
• 医学数据集特点：往往是给定任务的标记数据少，但存在一些类似结构（域类似，结构相似）的全标记数据集。
• 常用跨域方法（Domain Adapt, DA）：先在源域训练一个预训练模型，然后在目标域微调（fine-tune），但这样需要目标域有标记数据。
• 无监督域自适应学习(UDA)：要求目标域和源域有相同的结构，以学习域不变特征，但可能找不到有相同结构的源域（比如目前没有冠状动脉血管的标记数据）。
• 作者提出的方法（Cross Anatomy Domain Adaptation，CS-CADA）：
  • 可以利于不同域之间相似结构的知识，比如用眼底视网膜血管的数据集和冠状动脉的血管都是管状结构；眼球数据集和心脏的心机层都是环形结构
  • 利用不同域特定归一化层（Domain-Specific Batch Normalization）DBSN，集成各个域的卷积核到Mean Teacher中，来利用无标记的目标域图像。
  • 用对比学习加强获取不同域之间相同的特征。

相关工作

A. 半监督学习

• 现有方法：
  • pseudo label：给无标签的图像生成伪标签，然后学习
  • adversarial training：预测无标签的图像，使他们尽可能和已标记的图像相似
  • consistency regularization：鼓励一个输入的图像在不同的扰动下是一致的预测结果，本文的MeanTeacher就是这类方法。
• 本文的亮点：提取相似结构的特点，而不要求必须是相同的结构。

B. 迁移学习(Transfer Learning)和域自适应

• 早期的迁移学习方法主要是有标记的目标域数据集，微调预训练模型中参数
  • [26]证明知识可以通过微调从自然图像转移到医学图像
  • 微调的问题：where, how and when to fine-tune，同时如果源域和目标域数据集差距过大，则微调效果不好
• 域自适应（Domain Adaption, DA）：处理不同域（如：不同成像方法，MIR和CT，不同患者组，不同样本分布比例等）中的同一组目标对象（比如血管），而不是全部知识迁移，他需要同时使用源和目标数据训练，其可以分为监督的，半监督的和无监督的

C. 对比学习

• 我感觉就是一种利用loss，找出正例反例，然后增强训练结果的学习方式。（待补充）

论文方法

A. DSBN

建议先去看一下BN的原理：https://zhuanlan.zhihu.com/p/34879333

• 本文这个DSBN，只能说和BN一毛一样
• 但作者的巧妙之处在于，让输入的源域和目标域的图片使用同一个主干网络（UNet），也就是他们的卷积共享参数，但使用的BN的参数不同，由于BN的一个优点就是可以抵消上一层输入带来的变化，类似于Dropout，能够显著增强模型的泛化性，因此使用BN能够获取源域和目标域中有差异的图像的特征，来缓解不同域之间特征的差异。
• 还有一个细节：作者在每个域的图片输入时会进行一次白化操作，具体在上面那个讲解BN的知乎里也提到了，白化是BN的前身，就是对全部的特征做一次归一化，用来规范数据分布，降低Internal Covariate Shift。
• 这部分的loss，也很简单，一个基础$L_{seg}$，是交叉熵和Dice的组合，然后最终的Loss就是同时放入训练的有标记的源域和目标域图片预测结果。

B. Self-Ensembling Mean Teacher (SE-MT)

• 用于学习目标域中的无标记数据中的知识
• 通过上一小点A，作者已经利用源域和目标域有标记图像训练了一个模型*(这里并没有，作者是并行处理的，但这里可以先这样方便理解)*，我们称为老师模型，我们对老师模型进行自蒸馏，通过无标签的目标域图像不断更新老师模型，使用均方差来表示上一时刻老师模型预测的和当前时刻自己预测的图像的结果的误差，但蒸馏不是一般都用KL散度来区分两者，这里作者也没有解释为什么用均方差。

C. Cross-Domain Contrastive Learning

• 该模块用于辅助更好的获得跨域的相似特征
• 作者将有标记的源域的图片分别通过DSBN-S和DSBD-T，得到$g_i^S$和$g_i^T$，如图
  ，然后再将目标域图片分别经过DSBN-S和DSBD-T，得到$g_j^S$和$g_j^T$，这里我们希望$g_i^S$和$g_j^T$尽可能相等，这样能鼓励模型学到更相似的特征，也就是不同的图片分别经过DSBN-S和DSBD-T能得到相似的结果，因此这两对被设置为positive pair
• 对于（$g_i^S$，$g_i^T$）和（$g_j^S$，$g_j^T$）这两对，DSBN的目的就是独立提取不同的知识，相同的输入自然要尽可能不一样，因此他们是negative pair，同理，在图中已经画出所有的积极和消极对。
• 最后作者用了 self-supervised contrastive loss，$L_{ct}$来表示积极对和消极对之间的差异。

D. 总结

如图是模型的整体图，我一开始还以为模型是分开训练的，先练出一个差不多的老师模型，再自蒸馏，最后根据积极对，消极对对比增强一波，结果作者是三个步骤一块进行，也就是并行的，loss公式是：通过两个超参数，控制权重，不过这样一想，应该确实一起并行效果要好一些。

实验部分

• 作者将自己的模型用于眼底视网膜血管的数据集和冠状动脉的血管都是管状结构；眼球数据集和心脏的心机层都是环形结构，效果都十分不错，时间不够，就不细看了，感兴趣的读者自己详细了解吧。

写作手法学习

• 引言：讲明一个技术，说明他的问题，引出下一个技术，循序渐进。
  1. 先说基于CNN的模型效果好，但需要大量的有标记数据训练，引入半监督
  2. 再说半监督，效果好+不需要大量有标记数据，但需要大量无标记数据，在医学问题中，这样的数据也很难获得---->引出医学数据集特点
  3. 结合医学数据集特点–>介绍我们需要域自适应学习，再介绍问题，引出无监督域自适应等等