CrossMatch: Enhance Semi-Supervised Medical Image Segmentation with Perturbation Strategies 论文阅读

最新推荐文章于 2024-11-11 21:21:53 发布

皮卡丘ZPC

最新推荐文章于 2024-11-11 21:21:53 发布

阅读量945

点赞数 19

分类专栏：扩散模型阅读文章标签：论文阅读

本文链接：https://blog.csdn.net/weixin_51657614/article/details/138962625

版权

本文提出了一种名为CrossMatch的新框架，用于半监督医学图像分割，通过结合知识蒸馏和图像及特征级扰动策略提高模型的准确性与鲁棒性。CrossMatch使用多个编码器和解码器生成不同的数据流，经过自我知识蒸馏，强化模型在各种扰动条件下的预测一致性。在标准医学图像分割基准上，CrossMatch优于现有最先进的技术，有效地利用未标记数据提高模型性能。

摘要由CSDN通过智能技术生成

paper:arxiv.org/pdf/2405.00354

code:AiEson/CrossMatch: CrossMatch: Enhance Semi-Supervised Medical Image Segmentation with Perturbation Strategies and Knowledge Distillation (github.com)

摘要:医学图像分割的半监督学习提出了一个独特的挑战，即在利用大量未标记数据的同时有效地使用有限的标记数据。尽管取得了进步，但现有的方法往往不能充分利用未标记数据的潜力来提高模型的鲁棒性和准确性。在本文中，我们引入了一种新的框架CrossMatch，该框架将知识蒸馏与图像级和特征级双重扰动策略相结合，以提高模型对标记和未标记数据的学习能力。CrossMatch采用多个编码器和解码器来生成不同的数据流，这些数据流经过自我知识蒸馏，以提高预测在不同扰动下的一致性和可靠性。我们的方法通过有效地减少标记和未标记数据训练之间的差距，提高医学图像分割的边缘准确性和泛化程度，在标准基准上显著优于其他最先进的技术。通过大量的实验验证证明了CrossMatch的有效性，在不增加计算成本的情况下显示出显着的性能改进。

I. INTRODUCTION 介绍

SEMANTIC分割作为一种像素级的精确分类技术，在医学图像分析领域起着至关重要的作用。特别是在处理复杂的三维CT和MRI数据时，虽然全监督学习方法可以获得高精度的分割结果，但人工标注成本高，操作复杂，严重限制了其应用。在为了克服这一瓶颈，出现了半监督医学图像分割方法，并显示出巨大的潜力[1]。这些方法的核心在于将少量标注数据与大量未标注数据有效结合，降低标注的高成本，实现准确分割，同时促进在临床等场景的广泛应用。
半监督学习(SSL)的主要挑战是如何有效地利用未标记数据的潜力。
最近的研究已经从依赖基于生成对抗网络(generative adversarial Networks, GANs)的对抗训练机制[2]，[3]转变为结合一致性正则化和自训练等多种方法[4]-[8]。特别是，协作教学和相互学习模式[9]-[13]已被证明是非常有前途的策略，通常涉及两个模型的并行训练。知识蒸馏策略也被广泛用于优化模型结构，通过简化模型实现高效的训练和良好的性能。
在处理未标记图像数据时，图像级和特征级扰动的应用已经成为一种常见的策略。图像级扰动，如随机旋转、缩放、翻转和颜色调整，通过控制输入图像的变形和修改，增强模型对输入变化的鲁棒性。此外，更复杂的图像级扰动，如CutMix[14]和MixUp[15]，通过混合图像之间的区域并在像素级进行组合来创建新的训练样本，从而模拟更多样化的数据分布，进一步提高模型对未见数据的泛化能力。特征级扰动，特别是那些应用于由编码器提取的特征的扰动，尚未被充分探索并具有巨大的潜力。该方法在Decoder解码过程中引入弱到强的特征扰动，利用模型在各种扰动条件下的预测一致性对模型进行训练，保证了模型在面对相同图像分割任务时性能的稳定性。例如，可以通过添加随机噪声，应用各种类型的Dropout等方法来实现特征级扰动[8]，[16]。这些扰动不仅模拟了数据的潜在变化，而且在模型的深度特征抽象和解码过程中促进了泛化，从而实现了更准确、更准确的预测对未标记数据的稳健预测性能。
知识蒸馏(Knowledge Distillation, KD)在医学图像分割的半监督学习中已经显示出巨大的潜力[13]，[17]。通常，知识分配包括一个预先训练的教师模型和一个需要学习的学生模型。
然而，Self-KD方法[18]、[19]主要依赖于单个模型内生成的软标签来指导训练过程，而不是依赖于传统的硬标签或额外的教师模型。这些方法使用模型在训练过程中自生成的预测作为指导，通过迭代过程改进模型的特征提取和分类能力。这种自学方法不仅减少了对人工标注数据的依赖，而且显著提高了模型对未标注数据的适应性和预测精度。Self-KD通过强化模型对自身预测的依赖，促进了更深入的特征学习和更稳定的模型行为。特别是对于医学成像数据，该策略在处理高度可变和个体不同的医学图像时有效地提高了模型的鲁棒性和准确性。
受Self-KD和图像摄动的启发，我们设计了一种创新的自训练一致性正则化框架CrossMatch，用于半监督医学图像分割。该框架采用了一系列从弱到强的图像级和特征级扰动，并通过更系统和深入的方法探索未标记数据的潜力。具体来说，CrossMatch将两种类型的图像级和两种类型的特征级扰动应用于未标记数据，以创建四种不同的数据流。这些数据流的输出预测的准确性取决于它们受到的扰动程度，其中较强的数据流引导较弱的数据流。
在这个过程中，图像级扰动作为不同编码器的应用实现，而特征级扰动用于为同一解码器生成不同的输出。通过这些扰动，CrossMatch利用模型在不同扰动强度下的一致性进行内部知识蒸馏，既优化了模型对未标记数据的学习，又增强了模型的泛化能力。CrossMatch保证了模型输出的稳定性和准确性，从而在医学图像分割等需要高精度的应用中表现出卓越的性能。
总的来说，我们的贡献有四个方面:

(1)我们提出了一个基于知识蒸馏和图像扰动的一致性正则化框架，该框架侧重于对未标记数据的探索和自我知识的转移。
(2