VoCo: A Simple-yet-Effective Volume Contrastive Learning Framework for 3D Medical Image Analysis 阅读

论文:https://arxiv.org/abs/2402.17300

code:Luffy03/VoCo：[CVPR 2024] VoCo：一种简单而有效的 3D 医学图像分析体积对比学习框架 (github.com)

摘要:自监督学习(SSL)在三维医学图像分析中显示出有希望的结果。然而，在预训练中缺乏高级语义仍然严重阻碍了下游任务的性能。我们观察到，三维医学图像包含相对一致的上下文位置信息，即不同器官之间一致的几何关系，这为我们在预训练中学习一致的语义表示提供了一种潜在的方法。在本文中，我们提出了一个简单而有效的体积对比(VoCo)框架来利用上下文位置先验进行预训练。具体来说，我们首先从不同的区域生成一组基础作物，同时强制它们之间的特征差异，我们将它们用作不同区域的类分配。然后，我们随机种植子卷，并通过对比它们与不同基础作物的相似性来预测它们属于哪个类别(位于哪个区域)，这可以看作是预测不同子卷的上下文位置。通过这个借口任务，VoCo隐式地将上下文位置先验编码为模型表示，而不需要注释的指导，使我们能够有效地提高需要高级语义的下游任务的性能。在六个下游任务上的大量实验结果证明了VoCo的优越有效性。代码将在https://github.com/Luffy03/VoCo上提供。

1. 介绍

深度学习在三维医学图像分析方面取得了突出的成就[52,21,39,33]，但由于所需专家注释的昂贵成本而受到严重阻碍[49,23]。为了解决这个问题，自监督学习(self - supervised Learning, SSL)因其在没有注释的情况下学习表征的能力而受到了极大的关注[10,11,6,28,20]是三维医学图像分析中重要的高效标签解决方案[69,50,32,34,36]。现有的方法[49,73,69,13]大多是基于信息重建来学习三维医学图像的增强不变表示，首先对图像进行强数据增强，然后重建原始信息。具体而言，rotate-and- rebuild[49,50,73,51]提出了随机旋转三维体图像并学习恢复的方法，鼓励模型学习旋转不变性特征。最近的方法[68,69,32,25,60]进一步提出了在图像的不同视图之间恢复信息。PCRL[68, 69]裁剪全局和局部斑块，然后进行多尺度恢复。GVSL[32]通过仿射增强和匹配进一步探索了多次扫描之间的几何相似性。mask - reconstruction方法[13,71,54]也被广泛使用，该方法是从MAE[28]引入的，旨在通过屏蔽图像并重建缺失像素来学习表征。虽然已经证明了有希望的结果，但先前的工作[51,32]没有证明了在预训练中缺乏高级语义将严重影响下游任务的性能。为了解决这一挑战，我们认为应该进一步将更强的高级语义纳入3D医学图像预训练中。
为此，我们认为应该进一步利用3D医学图像的上下文位置先验。如图1(a)所示，我们观察到，在三维医学图像中，不同器官(语义区域)包含相对一致的上下文位置和相对一致的解剖特征(形状)。因此，不同器官之间几何关系的一致性为我们学习三维医学图像预训练的一致语义表示提供了一种潜在的方法。在本文中，我们提出了一个上下文位置预测的借口任务，旨在将上下文位置先验编码到模型表示中，从而使我们能够有效地提高需要高级语义的下游任务的性能。

图1所示。(a)在三维医学图像中，上下文位置，即不同器官之间的几何关系相对一致。(b)为了利用上下文位置先验进行预训练，我们提出了用于3D医学图像分析的体积对比度(VoCo)框架。
在本文中，我们提出了一个简单而有效的用于三维医学图像分析的体积对比度(VoCo)框架，如图1(b)所示。具体来说，我们首先从不同的位置裁剪一组不重叠的体积，同时强制它们之间的特征差异。我们将这些体积表示为学习到的高维空间中的一组基，在那里我们将它们用作不同位置的类分配。然后，我们随机裁剪子卷，并通过对比它们与不同碱基的相似性来预测它们属于哪个类(位于哪个位置)，这可以看作是预测不同子卷的上下文位置。在此基础上，提出了三维医学图像SSL的上下文位置预测借口任务。

通过学习预测上下文位置，我们隐式地将高级语义先验纳入模型表示，这使我们能够显著提高下游任务的性能。六个下游任务的广泛实验结果表明，我们提出的VoCo明显优于现有的最先进的3D医学图像SSL方法。

图2。典型的对比学习框架。(a)实例级对比学习[10,11,29,22,7]通过对输入数据进行强数据增强或模型扰动，获取实例的不同观点，然后对其一致性进行正则化。(b) prototyplevel对比学习[5,6,55,44,15,16]通过(1)在线聚类或(2)随机初始化然后在线更新过程获得原型作为课堂作业，然后利用原型对每个输入图像进行对比。(c)我们的VoCo遵循原型级对比学