[论文笔记]Pseudo-label Guided Contrastive Learning for Semi-supervised Medical Image Segmentation

摘要

尽管最近半监督学习(semi-supervised learning, semi- l)在自然图像分割方面取得了显著的成功，但在医学图像中，从有限的注释中学习判别表示的任务一直是一个悬而未决的问题。对比学习(CL)框架使用相似性度量的概念，这对分类问题很有用，然而，它们无法将这些质量表示转换为精确的像素级分割。为此，我们提出了一种新的基于半监督补丁的医学图像分割CL框架，而不使用任何明确的借口任务。

我们利用CL和SemiSL的强大功能，其中从SemiSL生成的伪标签通过提供额外的指导来帮助CL，而在CL中学习的判别类信息导致准确的多类分割。此外，我们制定了一个新的损失**，协同鼓励类间可分离性和类内紧密性之间的学习表征**。在该框架中，采用了一种新的基于平均补丁熵的补丁间语义差异映射，用于引导正负采样。

对三个公开可用的多模态数据集的实验分析表明，与最先进的方法相比，我们提出的方法具有优越性。代码可在GitHub上获得。

Introduction

医学图像的准确分割为临床医生提供了显著和深刻的信息，以进行适当的诊断，疾病进展和适当的治疗计划。随着神经网络的出现，监督深度学习方法在多个医学图像分割任务中取得了最先进的性能[11,36,41]。这可以归因于大型注释数据集的可用性。但是，获得大规模的像素级注释通常是耗时的，需要专业知识，并且会产生巨大的成本，因此减轻这些需求的方法是非常方便的。

基于半监督学习(Semi-supervised learning, semi -l)的方法是很有希望实现这一目标的方法，它需要非常少的注释，并为大部分未标记的数据生成伪标签，这些伪标签进一步用于训练分割网络[32,33]。近年来，这些方法不仅在自然场景图像中，而且在生物医学图像分析中，因其在下游任务(如分割、目标检测等)中的优越性能而得到广泛认可[3,4,64]。传统的SemiSL方法采用回归、逐像素交叉熵(CE)或均方误差(MSE)损失项或其变体**。但是，这些损失都没有施加类内紧密性和类间可分离性，从而限制了它们充分的学习潜力。最近在医学视觉中采用自集成策略的SemiSL方法[14,44]因其在分割任务中的最先进性能而受到关注。然而，它们是为单个数据集设计的，无法跨领域推广。**

无监督域自适应(Unsupervised domain adaptation, UDA)[18,61]可以用来解决这个问题，例如Xie等[60]提出了一种有效的UDA方法，结合自训练策略来释放学习潜能。然而，这些方法大多严重依赖于丰富的源标签，因此在临床部署中，有限的标签产生了不合格的性能[71]。表征学习是从有限注释中学习的另一种有前途的方法，其中为大型源域的借口任务训练的模型可以转移到目标域的下游任务。表征学习的当前进展被认为是对比学习(CL)的兴起[23]，对比学习旨在区分投影嵌入空间中特定锚点的相似样本(正)和不相似样本(负)。这一想法通过从大规模未标记数据中学习有用的表征，导致了自我监督范式的实质性进步[9,43,57]。CL的基本思想是把语义相似的样本放在一起，把语义不同的样本分开。这是通过适当地设计一个目标函数来实现的，也称为对比损失函数，它优化了不同数据点之间的互信息。然后，从借口任务中学习到的信息可以转移到下游任务中，如分类[62]、分割[53,66]等。

尽管近年来取得了巨大的成功，但CL框架也存在一些问题，主要包括:(a)在[15]中报道了抽样偏差和加剧的类冲突，因为语义相似的实例由于非引导的负样本选择[9]而被强制对比，导致性能不合格;(b)如[21]所建议的，在CL中，将在现有的源域(例如ImageNet)的大规模数据集上为某些借口任务训练的模型适应于目标域的特定下游任务是一种常见和理想的做法。然而，在异构数据集中，显著的域转移往往会损害整体性能[73]，特别是在医学图像中;©设计一个合适的借口任务可能是具有挑战性的，并且通常不能跨数据集推广[37]。第一个问题可以通过获得标记的样品来解决。例如，[27]表明，包含标签可以显著提高分类性能，但这是在完全监督的设置下。最近有人试图部分解决后两个问题，这两个问题将在第2节中重点介绍。

Our Proposal and Contribution

从这些未解决的问题中获得动力，我们的目标是通过一些新颖的贡献来利用CL在半语义领域的潜力:•我们通过利用CL和半语义的力量提出了一种新颖的端到端分割范式。在我们的案例中，SemiSL中生成的伪标签通过为度量学习策略提供额外的指导来帮助CL，而CL中重要的类判别特征学习提高了SemiSL的多类分割性能。因此，在医学图像分割任务中，SemiSL辅助CL，反之亦然。

•我们引入了一种新的伪标签引导对比损失(PLGCL)，它可以挖掘类别区分特征，而无需在借口任务上进行任何明确的训练，从而证明了跨多个领域的泛化性。

•我们采用了一个基于补丁的CL框架，其中正补丁和负补丁从基于熵的度量中采样，该度量由SemiSL设置中获得的伪标签引导。这可以防止(类冲突)，即在CL中对语义相似的实例进行强制和无导向的对比。

•通过对来自不同领域的三个数据集的评估，我们的方法被证明是有效的，增加了它的通用性和鲁棒性

Related work

半监督学习

基于半语义的方法从大量未标记样本中提取有用的表示，同时对少数标记样本进行监督学习。现有的SemiSL方法采用的策略包括伪标记[35,42]、一致性正则化[4,26]、熵最小化[22,49]等。基于伪标记的方法在标记的数据上进行模型训练，然后在未标记的数据集上生成伪标签。然后使用不确定性引导的细化[50]、随机传播[16]等方法对生成的伪标签的质量进行微调。由于为语义分割获取逐像素注释的成本很高，基于一致性的方法可以在不使用注释的情况下对增强输入图像[17]或增强特征嵌入[39]进行一致的预测。熵最小化使模型在未标记数据上输出低熵预测[20]。整体方法也采用这些方法的组合来完成各种任务[6,46]。

另一种在半监督医学图像分割中广泛使用的方法是Mean Teacher[47]，它鼓励学生和教师模型之间的一致预测。近年来，它已被扩展到多种semi - l算法。Y u等[65]提出了一种不确定性引导的平均教师框架(UA-MT)，并结合转换一致性来提高绩效。Wang等人[52]提出了一种三不确定性指导的平均教师框架，通过在平均教师网络上定义两个辅助任务:重建和预测签名距离域，帮助模型学习不同的特征，以便更好地进行预测。Hang等人

[22]在平均教师网络的基础上采用了全局-局部结构感知熵最小化方法。自训练方法[60,66]结合了来自未标记数据预测的附加信息，可用于提高模型性能。然而，大多数现有的半监督分割方法没有明确强调类间可分离性问题，从而无意中限制了它们的性能，这是我们在提出的工作中寻求解决的问题。

对比学习

近年来出现了几种强大的(非)相似学习方法，它们在各种计算机视觉任务中使用对比损失[12,13,37,40]。在分割中，大多数先前的CL方法都是通过自监督预训练来设计一个强大的特征提取器，然后将其转移到下游任务中[9,54]。为了生成正对，这些方法在很大程度上依赖于[2,67]所支持的数据扩充，尽管值得注意的是，大量的负对对于这些方法的成功至关重要[8]。Zhao等人[69]设计了一种CL策略来挖掘图像级和补丁级表示之间的关系特征。最近，Wang等人[55]证明了交叉图像对比学习在医学图像分割中的优势。然而，在这种情况下**，CL的一个主要缺点是类冲突问题[1,72]**——在这种情况下，由于对幼稚CL目标的不知情的负面选择，语义相似的补丁会被强烈对比。如[28]所示，**这极大地损害了多类场景中的分割性能。**我们的工作旨在通过在半监督分割中提出一种新的CL与一致性正则化的集成来缓解这个问题。与Boserup等人[7]不同，Boserup等人需要一个额外的置信度网络，我们利用伪标签对基于熵的正负查询采样进行对比学习。

最近的一些进展在半监督环境中使用了对比学习[21,25,68]，其中在借口分类任务上训练的模型可以有效地转移到分割任务上**。但是，它们都没有有效地利用来自SemiSL的伪标签来改进CL**，反之亦然。此外，这些方法的成功依赖于精心设计的借口任务和最小的借口任务域和最终分割域之间的域转移。在这项工作中，我们试图通过设计一个端到端分割框架，通过在semil设置中有效地利用CL来解决这些问题。Chaitanya等[10]提出了一种以伪标签为导向的基于局部对比学习的自我训练策略，这与我们的工作最接近。然而，尚不清楚他们提出的像素级CL如何在没有仔细选择阳性和阴性的情况下学习鉴别特征。此外，他们的方法缺乏任何伪标签细化策略，这是生成伪标签质量的基础，并与度量学习方案直接相关。此外，它们的逐像素CL框架存在内存不足的问题，这限制了它们只能对一小部分像素进行子采样，并抑制了模型学习全局信息的能力。为了解决这些问题，我们提出了以伪标签为指导的patch-wise对比学习，并共同优化semil中的CL损失和一致性损失，以同时学习特征表示和改进伪标签。