Self-supervised learning for medical image analysis: Discriminative, restorative, or adversarial?

医学图像分析的自监督学习：区分性、恢复性还是对抗性？

区分性、恢复性和对抗性学习在计算机视觉和医学图像领域的自监督学习方案中已被证明具有益处。然而，现有的努力未能充分利用这些方法在三元设置中可能提供的协同效应，我们设想这可以在深度语义表示学习中产生显著的好处。为此，我们开发了DiRA，这是第一个以统一的方式将区分性、恢复性和对抗性学习结合起来的框架，以共同从未标记的医学图像中获取互补的视觉信息，用于细粒度的语义表示学习。我们的广泛实验证明DiRA：(1)鼓励三种学习成分之间的协同学习，从而产生在器官、疾病和模态之间更具一般性的表示；(2)胜过完全监督的ImageNet模型，并在小数据环境中增强鲁棒性，降低多个医学图像应用中的注释成本；(3)学习细粒度的语义表示，仅使用图像级别的注释就能实现精准的病变定位；(4)提高低/中级特征的可重用性；(5)增强恢复性的自监督方法，揭示了DiRA是统一表示学习的通用框架。代码和预训练模型可在https://github.com/JLiangLab/DiRA获得。