Towards Generic Semi-Supervised Framework forVolumetric Medical Image Segmentation 论文阅读

面向体积医学图像分割的通用半监督框架

论文：[2310.11320] Towards Generic Semi-Supervised Framework for Volumetric Medical Image Segmentation (arxiv.org)

代码：GitHub - xmed-lab/GenericSSL：NeurIPS 2023：迈向用于体积医学图像分割的通用半监督框架

摘要

3D 医学图像中的体积标记是一项耗时的任务，需要专业知识。因此，人们越来越有兴趣使用半监督学习（SSL）技术来训练具有有限标记数据的模型。然而，挑战和实际应用超出了 SSL 的范围，扩展到无监督域适应 (UDA) 和半监督域泛化 (SemiDG) 等设置。这项工作旨在开发一个可以处理所有三种设置的通用 SSL 框架。我们发现现有 SSL 框架中实现这一目标的两个主要障碍：1）捕获分布不变特征的弱点； 2）未标记数据有被标记数据淹没的趋势，导致训练期间过度拟合标记数据。为了解决这些问题，我们提出了一个聚合和解耦框架。聚合部分由扩散编码器组成，该编码器通过从多个分布/域的聚合信息中提取分布不变特征来构造公共知识集。解耦部分由三个解码器组成，将训练过程与标记和未标记数据解耦，从而避免对标记数据、特定域和类的过度拟合。我们在 SSL、类不平衡 SSL、UDA 和 SemiDG 的四个基准数据集上评估了我们提出的框架。与所有四种设置中最先进的方法相比，结果显示了显着的改进，表明我们的框架有潜力解决更具挑战性的 SSL 场景。代码和模型可在以下网址获取：https://github.com/xmed-lab/GenericSSL。

1 简介

标记体积医学图像需要专业知识，并且是一个耗时的过程。因此，对于标记数据有限的训练模型来说，非常需要使用半监督学习（SSL）。人们已经提出了各种 SSL 技术 [1,2,3,4,5,6,7]，特别是在半监督体积医学图像分割 (SSVMIS) 领域，以利用标记和未标记数据。然而，当前的SSVMIS方法[8,9,10,11,12,13,14,15,16,17,18]假设标记和未标记数据来自同一域，这意味着它们共享相同的分布。在实践中，医学图像通常是使用不同的扫描仪从不同的临床中心收集的，从而导致显着的域转移。这些转变是由于患者群体、扫描仪和扫描采集设置的差异而产生的。因此，这些 SSVMIS 方法在实际应用场景中存在局限性，并且经常遇到过拟合问题，导致结果不理想。

为了解决这一限制，研究人员越来越关注无监督域适应（UDA）技术。这些技术利用标记数据（源域）和未标记数据（目标域）进行训练，但数据来自不同的域。此外，半监督域泛化（SemiDG）这种更严格的场景也引起了人们的极大兴趣。

SemiDG 在训练期间利用来自多个领域的标记和未标记数据，并在看不见的领域上进行评估。目前，这三种场景的方法是分别优化的，并且没有现有的方法可以在统一的框架内解决所有这三种场景。然而，鉴于所有训练阶段都涉及标记和未标记数据，因此探索一个基于 SSL 的通用框架是直观的，该框架可以处理所有设置并消除复杂的特定于任务的设计的需要。因此，本文旨在开发一个能够应对现实场景中现有挑战的通用框架，包括：

•  场景1：SSL（图1（a））：用于训练和测试的样本数据来自同一域，代表标准 SSL 设置。

• 场景2：UDA（图1（b））：采样数据来自两个域，目标域的标签不可访问，代表UDA 设置。

• 场景3：SemiDG（图1(c)）：采样数据包含多个域，仅标记有限数量的域，代表SemiDG 设置。

可以发现潜在的相似之处并总结如下：（1）在训练阶段，都使用了标记数据和未标记数据； （2）在现实应用领域的场景中，无论是SSL中的分布偏移还是UDA和SemiDG中的域偏移都可以被视为采样偏差，即主要区别在于我们如何对图1中的数据进行采样。

现在我们想知道现有的 SSVMIS 方法是否足够强大来处理这项一般任务。实验结果表明，现有的 SSL 方法在 UDA 和 SemiDG 设置上效果不佳，如表 3 和 4 所示，反之亦然（表 2）。

主要障碍之一在于这些模型的严重过度拟合，这是由训练期间标记数据占主导地位造成的。具体来说，最先进的 SSVMIS 方法主要基于两个框架：（1）教师-学生框架 [1]（知识蒸馏），其中首先使用标记数据训练学生模型，以及从 EMA 获得的教师模型学生模型的生成伪标签，用标记数据重新训练学生模型，见图2(a)； （2）CPS（交叉伪监督）[3]框架，它利用两个扰动模型之间的一致性，其中一个网络生成的伪标签将用于训练另一个网络，见图2（b）。这两个主要框架中的预测模块均使用标记数据和未标记数据进行训练；然而，与未标记数据相比，以精确的基本事实作为监督的标记数据收敛得更快。因此，训练过程很容易被监督训练任务压垮，如图 3 所示。另一个挑战在于现有的 SSVMIS 方法无法解决分布变化的问题，更不用说域变化了，导致训练的局限性。捕获对分布变化不变的特征。

基于主流 SSVMIS 方法的相似性和主要弱点，我们认为，如果我们能够解决过度拟合问题并设计一种强大的方法来捕获分布不变特征，那么通用框架是可能的。为了解决上述问题并为实际应用场景设计通用的 SSVMIS 方法，本文提出了一种新颖的聚合和解耦（A&D）框架。具体来说，A&D由聚合阶段和解耦阶段组成。在聚合阶段，基于扩散模型[19, 20]最近的成功，我们提出了一种Diff-VNet，将多域特征聚合到一个共享编码器中，构建一个公共知识集，以提高捕获域特征的能力。分布不变的特征。为了解决过拟合问题，在解耦阶段，我们将解码过程解耦为（1）标记数据训练流程，该流程主要更新 Diff-VNet 解码器和困难感知 V-Net 解码器以生成高质量的伪数据标签; (2) 一个无标签数据训练流程，主要在伪标签的监督下更新另一个普通的 V-Net 解码器。 Diff-VNet 解码器的去噪过程提供域无偏伪标签，而困难感知 V-Net 解码器提供类无偏伪标签。我们还提出了重新参数化和平滑组合策略，以进一步提高伪标签的质量。

我们工作的主要贡献可以概括如下：（1）我们将用于体医学图像分割的 SSL、Class Imbalanced SSL、UDA 和 SemiDG 统一为一个通用框架； (2) 我们指出了当前 SSL 方法的过拟合问题，并提出通过有效的数据增强策略和分别解耦标记数据和未标记数据的解码器来解决该问题； (3)我们引入Diffusion V-Net来学习不同领域的底层特征分布，将SSL方法推广到更现实的应用场景； (4) 所提出的聚合和解耦框架在 SSL、类不平衡 SSL、UDA 和 SemiDG 任务的代表性数据集上实现了最先进的技术。值得注意的是，我们的方法在 Synapse 数据集（Dice 中为 12.3）和 MR 到 CT 设置中的 MMWHS 数据集（Dice 中为 8.5）上取得了显着改进。进行了广泛的消融研究以验证所提出方法的有效性。

2 相关工作

2.1 半监督分割和类别不平衡问题

半监督分割旨在通过有限标记数据的监督来探索大量未标记数据。最近，基于自我训练的方法[3,4,21]已成为主流该域的。采用一致性正则化策略的方法[22,3,21]通过鼓励两个扰动网络对同一输入图像的预测之间的高度相似性来实现良好的性能，从而极大地提高了泛化能力。在医学图像领域，数据限制问题更加自然和严重。现有的对抗有限数据的方法[23,24,10,14,13,17,16,25]取得了巨大的成功，但受到应用场景的瓶颈，无法处理更具挑战性但实用的设置，例如UDA和SemiDG。

类不平衡问题 类不平衡问题是将现有基于 SSL 的方法扩展到更实际的环境中的一个重要问题，因为医学数据集的某些类在训练样本中的实例明显多于其他类。在自然图像领域，提出了不同的方法来解决这个问题，包括利用未标记的数据[26,27,28,29,30]，重新平衡损失中的数据分布[31,30,32]，去偏学习[6， 5]等。在医学图像领域，这个问题更为严重，但只有很少的工作[15,33,25]注意到这个问题。结合类不平衡意识对于 SSL 方法的泛化至关重要。

2.2 无监督域适应和半监督域泛化

域适应（DA）旨在通过源域数据和目标域数据联合训练模型来解决域转移。无监督域适应（UDA）[34,35,36,37]是所有 DA 设置中最具挑战性和实用性的设置，因为不需要目标标签。

在这种背景下，UDA 在医学图像分割领域变得越来越重要，因此，通过利用以下方法，开发了多种用于跨域医学图像分割的 UDA 方法： 基于生成对抗的方法 [38,39,40 , 41, 42, 43, 44, 45, 46]，半监督学习技术[47, 48, 49]，以及自我训练以及对比学习技术[50, 51]等。虽然具有有希望的适应结果，这些方法高度依赖于未标记的目标域信息，这阻碍了泛化性。

域泛化（DG）是一个更严格的设置，与 DA 的区别在于模型不使用来自目标域的任何信息。与无监督域适应不同，半监督域泛化（SemiDG）不假设可以访问目标域的标记数据。现有的 SemiDG 方法[52, 53]利用各种不寻常的策略来解决域转移，例如元学习[52]、傅里叶变换[54]、组合性[55]等，这些策略不通用，并且在UDA 和 SSL 等任务。

与这些先前的工作相比，我们的工作是第一个统一 SSL、Imbalanced SSL、UDA 和 SemiDG 设置的工作。这一扩展不仅扩大了医学图像分割中基于 SSL 的框架的范围和多功能性，而且与仍局限于 SSL 或 UDA 等单一领域的早期方法形成了鲜明的对比。

2.3 扩散模型

去噪扩散模型[56,19,57,58]在各种生成任务[59,60,61,62,63]中表现出了巨大的成功，因为它具有对数据的底层分布进行建模的强大能力，在概念上具有更大的处理具有挑战性任务的能力。注意到这一特性，人们越来越有兴趣将它们纳入分割任务，包括自然图像分割[64,65,66]和医学图像分割[67,68,20]鉴于扩散模型在在这些各自的领域中，利用此类模型来开发基于生成的感知模型将被证明是将感知任务的边界推向新高度的非常有前途的途径。