Discrepancy Matters: Learning from Inconsistent Decoder Features for Consistent Semi-supervised 论文

paper:2309.14819 (arxiv.org)

code:maxwell0027/LeFeD (github.com)

摘要:半监督学习(SSL)已被证明有助于缓解标记数据有限的问题，特别是在体积医学图像分割任务上。不像以前的SSL方法专注于探索高度自信的伪标签或开发一致性正则化方案，我们的实证研究结果表明，当两个解码器努力生成一致的预测时，不一致的解码器特征自然出现。在此基础上，我们首先分析了在伪标记和一致性正则化设置下差异在一致性学习中的价值，随后提出了一种新的SSL方法LeFeD，该方法通过将两个解码器获得的特征级差异作为反馈信号馈送到编码器，从而学习两个解码器获得的特征级差异。LeFeD的核心设计是通过训练差分解码器来扩大差分，然后从不一致的信息中迭代学习。我们在三个公共数据集上对LeFeD的八种状态(SOTA)方法进行了评估。实验表明，LeFeD在没有不确定性估计和强约束等缺陷的情况下超越了竞争对手，为半监督医学图像分割开辟了新的领域。

I. INTRODUCTION 介绍。

 医学图像的精确分割是计算机辅助诊断的关键任务[1]。在大规模数据集上训练的深度学习模型最近在这一任务上显示出了很好的性能[2]，[3]。然而，收集医学图像数据集不可避免地需要数据注释的专业知识，这是耗时和劳动密集型的，特别是对于体积数据。考虑到未标记数据相对容易从临床现场收集，半监督学习(semi-supervised learning, SSL)[4]，[5]因其能够提高模型泛化的能力而越来越受到研究的关注利用大量未标记数据来增强有限的标记数据。
根据对未标记数据的使用，SSL的范式大致可以分为伪标记[6]-[8]和一致性正则化[9]，[10]。第一类SSL方法侧重于生成准确的伪标签。例如，在师生框架中采用模型集成来提高伪标签质量[11]，[12]，并定义各种标准来准确选择伪标签数据[13]，[14]。第二类SSL方法强调设计正则化，以强制模型为输入及其实际受干扰的变体提供一致的输出。一致性正则化可以是在数据级[15]、[16]、任务级[17]或预测级[18]施加的约束。尽管伪标记和一致性正则化存在差异，但它们都有一个共同的关键，即通过从不一致中逐步学习来学习不变预测。例如，[18]对齐的伪标签强增分支到弱增分支，[19]使CNN和Transformer的预测之间的logits分布相似。为了更好地实现这一点，我们简要介绍了伪标记和一致性正则化的工作流程。

图1所示。简要说明不一致预测在半监督学习(SSL)中的重要性。上:交叉伪监督(伪标注)下:一致逻辑分布(一致性正则化)不一致的区域用红色箭头突出显示。SSL可以总结为通过学习自然产生的不一致性来学习一致性。

如图1所示，SSL框架由一个编码器和两个解码器组成，这种结构广泛应用于伪标记[20]、[21]和一致性正则化方法[22]、[23]中。让我们考虑一个使用交叉伪监督(图1顶部显示的伪标记策略)的实例。在这种情况下，一个解码器的伪标签被用来监督另一个解码器的预测。正是在这种情况下，不一致的预测变得重要，因为它们可以提供补充信息。同样，如果我们在两个分支之间保持从未标记数据中学习的逻辑分布相似(例如，使用KL散度——图1底部显示的一种常见的基于一致性的策略)，则不一致的预测保留了一个关键功能。这是因为梯度主要来源于这些区域内计算的损失。从这些观察中，很明显，不一致性在促进学习一致性方面起着关键作用。虽然以前的SSL方法从一致学习的角度有效地利用了未标记的数据，但是当解码器试图产生固有一致的预测时，它们忽略了不一致信息的自然出现。
此外，他们没有认识到这两种解码器之间差异的重要性。为此，我们从学习不一致解码器特征的角度提出了一种新的SSL方法，称为从特征级差异中学习(LeFeD)。我们的假设是，这些差异在一致性学习中起着重要的作用，适当地利用这些不一致的信息可以提高模型的性能。我们的战略在两个方面区别于现有的方法。首先，我们将重点放在特征差异上，而不是主要关注创建约束以确保预测一致性。其次，我们不是努力提高伪标签的质量，而是利用差异来增强学习。在实现中，我们首先尝试通过使用不同的损失函数和深度监督来训练两个不同的解码器来扩大差异，然后从所有尺度上获得的不一致中迭代学习。我们的主要贡献有三方面。

•我们为SSL提出了一个新的视角，即从两个不同解码器产生的不一致特征中学习。
•我们观察到这样一种现象，即当两个解码器试图做出一致的预测时，两个预测之间总是存在差异，其对模型性能的贡献已得到经验验证。
•我们提出了一种精确的SSL方法，称为LeFeD，它在三个公共医学图像数据集上击败了八种先进的SSL方法，为半监督医学图像分割设定了新的水平。