MagicNet: Semi-Supervised Multi-Organ Segmentation via Magic-Cube Partition and RecoveryMagicNet 论文

最新推荐文章于 2024-10-03 19:05:59 发布

皮卡丘ZPC

最新推荐文章于 2024-10-03 19:05:59 发布

阅读量683

点赞数 22

文章标签：计算机视觉

本文链接：https://blog.csdn.net/weixin_51657614/article/details/142672661

版权

code:DeepMed-Lab-ECNU/MagicNet: MagicNet: Semi-Supervised Multi-Organ Segmentation via Magic-Cube Partition and Recovery (CVPR 2023) (github.com)

paper:arxiv.org/pdf/2212.14310

摘要:

提出了一种新的师生半监督多器官分割模型。在师生模型中，通常对未标记数据进行数据增强，使师生之间的一致性训练规范化。我们从一个关键的角度出发，不同器官的固定相对位置和可变大小可以提供多器官CT扫描绘制的分布信息。因此，我们将先验解剖作为一种强大的工具来指导数据增强，并减少半监督学习中标记和未标记图像之间的不匹配。更具体地说，我们提出了一种基于分区和恢复N3立方体的数据增强策略，这些立方体交叉和内标记和未标记的图像。我们的策略鼓励未标记的图像从标记的图像中学习相对位置的器官语义(跨分支)，并增强小器官(分支内)的学习能力。对于分支内，我们进一步提出通过混合来自小立方体的学习表征来结合局部属性来改进伪标签的质量。我们的方法被称为MagicNet，因为它将CT体积视为一个魔方，并且N3立方体的分区和恢复过程与玩魔方的规则相匹配。在两个公共CT多器官数据集上进行的大量实验证明了MagicNet的有效性，并且明显优于最先进的半监督医学图像分割方法，在MACT数据集上使用10%的标记图像，DSC提高了7%。代码可在https://github.com/DeepMed-LabECNU/MagicNet上获得。

1. Introduction 介绍

CT图像中腹部多器官的分割是许多临床应用中的一项重要任务计算机辅助干预[25,33]。但是，训练一个准确的多器官分割模型通常需要大量的标记数据，而这些数据的获取过程既耗时又昂贵。半监督学习(SSL)在处理数据注释的稀缺性方面显示出巨大的潜力，它试图将从标记图像中学习到的大量先验知识转移到未标记图像中。近年来，SSL在医学图像分析领域受到越来越多的关注。目前流行的SSL医学图像分割方法主要是对单个目标或局部区域的目标进行分割，如对胰腺或左心房进行分割[4,9,14,15,18,23,31,35,38,39]。多器官分割比单一器官分割更具挑战性，因为器官的解剖结构复杂，例如相对位置固定(十二指肠总是位于胰腺的头部)，不同器官的外观，大小变化大。这篇CVPR论文是开放获取版本，由计算机视觉基金会提供。除了这个水印，它与接受的版本是相同的;会议记录的最终出版版本可在IEEE探索网站上找到。环目前SSL医学分割方法在多器官分割中遇到严重问题。与单个器官相比，多个器官会产生更多的变异。虽然标记和未标记的图像总是来自同一分布，但由于标记图像的数量有限，很难从它们中估计出精确的分布[32]。因此，标记和未标记图像之间的估计分布总是存在不匹配问题，甚至在很大程度上增加了多个器官。上述SSL医学分割方法缺乏处理如此大的分布间隙的能力，这需要复杂的解剖结构建模。已经提出了一些半监督多器官分割方法，DMPCT[43]设计了一种共同训练策略，从CT扫描的多个视图中挖掘共识信息。UMCT[36]进一步提出了每个视图的不确定性估计，以提高伪标签的质量。这些方法虽然利用了CT扫描的多视图特性，但不可避免地忽略了多器官的内部解剖结构，导致结果不理想。师生模型是一种广泛采用的半监督医学图像分割框架[28]。学生网络将标记图像和未标记的强增强图像作为输入，试图从模型层面最小化标记图像和未标记图像之间的分布不匹配。即对未标记数据进行数据增强，其作用是规范师生之间的一致性训练。如前所述，半监督多器官分割在标记和未标记图像之间存在较大的分布对齐不匹配。主要从模型层面减少不匹配不足以解决问题。由于CT扫描的先验解剖学知识提供了绘制多器官CT扫描时的分布信息，因此有可能从数据层面上很大程度上缓解错配问题。为此，我们提出了一种与魔方游戏规则相匹配的新型师生模式MagicNet。更具体地说，我们提出了一个划分和恢复N3个立方体的学习范式:(1)我们将每个CT扫描(称为魔方)划分为N3个小立方体。(2)然后设计两种数据增强策略，如图1所示。首先，为了鼓励未标记的数据从标记的数据中学习相对位置的器官语义，将小立方体混合在标记和未标记的图像中，同时保持它们的相对位置。其次，为了增强小器官的学习能力，将小立方体进行洗牌并输入到学生网络中。(3)对魔方进行复原，形成原始的三维几何图形，与地面真实值或教师的监督信号进行映射。此外，通过混合小立方体的学习表示来改进教师网络预测的伪标签的质量。基于立方体的伪标签混合策略结合了局部属性，如纹理、光泽和边界平滑度，减轻了小器官的劣等性能。
•我们提出了一种基于分割和恢复N3立方体的数据增强策略，该策略鼓励未标记的图像从标记的图像中学习相对位置的器官语义，并增强了小器官的学习能力。
•我们建议通过结合关键的局部属性来识别目标，特别是小器官，通过立方体伪标签混合来纠正原始伪标签。
•我们在BTCV[13]和MACT[11]数据集上验证了我们方法的有效性。我们的方法的分割性能大大超过了所有的技术水平，在DSC的两个数据集(以V-Net为骨干)上分别提高了7.28%(10%标记)和6.94%(30%标记)。

图1所示。MagicNet中的两种数据增强策略。左:虽然有标签和未标签的图像不对齐，但后者可以看作是前者的移位版本。数据集的共移将相对位置的器官语义从标记数据转移到未标记数据。右图:由于背景杂乱，很难从原始图像中分割出小器官。小的多维数据集减轻了背景的影响，并更多地关注本地属性。

2. Related Work

2.1. Semi-supervised Medical Image Segmentation

半监督医学图像分割方法大致可分为三类。(1)基于对比学习的方法[35,38]，该方法学习的表征是最大化正对之间的相似性，最小化负对之间的相似性。(2)基于一致性正则化的方法[4,9,14,18,31,36,39]，通过多/双任务学习或转换一致学习来关注单个目标的不同层次的信息。(3)基于自集成/自训练的方法[1,15,23,39,43]，该方法为未标记的图像生成伪标签，并提出了几种保证伪标签质量的策略。但是，这些方法大多集中于局部区域或ROI的一个或多个目标的分割，如胰腺或左心房[18,23,38,39]，由于缺乏解剖结构建模能力，这些方法在过渡到多器官分割时会遇到性能下降的问题。

2.2. 半监督多器官分割

由于不同器官的外观和大小差异很大[22,26,33,37]，多器官分割一直是一个热门但具有挑战性的任务。专门针对多器官分割的SSL方法很少。DMPCT[43]采用基于2d的协同训练框架在私有数据集上聚合多平面特征。UMCT[36]进一步加强了未标记数据上的多视图一致性。这些方法是开创性的

从协同训练的角度处理半监督多器官分割问题，该方法利用了CT体的多视图特性，但多器官的特性尚未得到很好的探索。

2.3. Interpolation-based Semi-supervised Learning

2.3. 基于插值的半监督学习

基于插值的正则化[30,40,41]在半监督语义分割中非常成功。

Mixup[41]和CutMix[40]等方法擅长合成新的训练样本，广泛应用于半监督学习。FixMatch[24]设计了一个强弱对一致性来简化半监督学习。MixMatch[3]和ReMixMatch[2]对未标记的数据生成伪标签，并逐渐将具有可靠伪标签的未标记数据纳入标记集。

ICT[30]提出了一种基于Mixup的基于插值的一致性训练方法。GuidedMix-Net[29]利用Mixup[41]进行半监督语义分割。因此，我们还将我们的方法与实验中一些流行的基于插值的方法进行了比较。