Localized Region Contrast for Enhancing Self-supervised Learning in Medical Image Segmentation论文速读

Localized Region Contrast for Enhancing Self-supervised Learning in Medical Image Segmentation

摘要

自我监督学习的最新进展表明，可以从未标记的图像中学习有效的视觉表示。这导致人们对将自我监督学习应用于医学领域的兴趣日益浓厚，因为在医学领域，未标记的图像非常丰富，并且很难获得标记图像。然而，大多数自监督学习方法被建模为图像级判别或生成代理任务，这些任务可能无法捕获密集预测任务（如多器官分割）所需的更精细的表示。

本文提出了一种新颖的对比学习框架，该框架集成了局部区域对比 （LRC），以增强现有的医学图像分割自监督预训练方法。
通过Felzenszwalb的算法识别超像素，并使用一种新的对比采样损失进行局部对比学习。

本文方法

预训练阶段

从Batch中随机选择一个Query，其余为负例，对Query进行变换的也是正例(Xp)

采用InfoNce计算得到的Z特征之间的全局对比

局部对比只在他自己和他的变换之间，使用Felzenszwalb’s算法，对特征进行采样，从图中就可以看出

微调阶段

在前一个预训练阶段，Eg、El和Dl使用全局和局部对比策略进行相应的预训练，并具有大量未标记的图像。在微调阶段，我们使用有限数量的标记图像 xf ∈ {x1， x2， …， xF } 对模型进行微调，其中 F 是微调数据集的大小。除了两个预训练的编码器和一个解码器外，一个随机初始化的解码器 Dg 被附加到预训练的 Eg 中，以确保嵌入在串联之前具有相同的维度。我们通过连接 Dg 和 Dl 的最后一个卷积层的输出来结合局部和全局对比度模型，并以端到端的方式对目标数据集进行微调。来自编码器的不同级别的特征图通过跳跃连接与相应的解码器层连接起来，为梯度提供替代路径。

实验结果