[论文阅读] Cross-level Contrastive Learning and Consistency Constraint for Medical Image Segmentation

论文地址：https://arxiv.org/abs/2202.04074
代码：https://github.com/ShinkaiZ/CLCC-semi
发表于：ISBI 22

Abstract

半监督学习(SSL)旨在利用少数标记的图像和大量未标记的图像进行网络训练，有利于减轻医学图像分割中的数据注释负担。根据医学影像专家的经验，局部属性如纹理、光泽和平滑度是识别医学图像中病变和息肉等目标对象的非常重要的因素。受此启发，我们提出了一种跨层对比学习方案，以提高半监督医学图像分割中局部特征的表示能力。与现有的图像对比、斑块对比和点对比学习算法相比，我们设计的方法能够探索更复杂的相似性线索，即全局和局部斑块对比表示之间的关系特征。此外，为了充分利用跨层次的语义关系，我们设计了一个新的一致性约束，将斑块的预测与整个图像的预测进行比较。在跨级对比学习和一致性约束的帮助下，未标记的数据可以被有效地利用，以提高两个医学图像数据集的分割性能，分别用于息肉和皮损的分割。

Mehod

本文所提出的方法框架如下所示：

概括来讲本文核心思想在于将(半监督)对比学习应用至医学图像分割中。所谓对比，是将完整原图(Full Image)与原图的切片(Patchs)均输入至分割网络中：

首先，由于完整图像和图像切片中所包含的信息是一样的，因此切块后拼回去的特征经推理得到的结果与原始图像特征的推理结果也应保持一致(对应上图中的Prediction Head)。这一步的操作更偏向于半监督学习，即通过某种原始图像与经过"某种变换"(这里为切块)后的图像都应该包含相同的信息，因此可以在不需要额外标注的情况下学习图像的表征。

接下来再看图中的Projection Head，这一部分实现的是对比学习。由于图像已经切块了，那么两个不同切块之间的信息肯定是不相同的，
由此可以构成一对负样本。而对于正样本，这里借助了原始图像，即从完整图像特征中抠出来的一部分同样应与抠出来的一部分所推理得到的特征保持一致。