Orthogonal Annotation Benefits Barely-supervised Medical Image Segmentation

Orthogonal Annotation Benefits Barely-supervised Medical Image Segmentation. Heng Cai1, Shumeng Li1, Lei Qi2, Qian Y u3, Yinghuan Shi1,*, Yang Gao1. 2023,CVPR.

半监督学习的最新趋势显著提高了三维半监督医学图像分割的性能。与二维图像相比，三维医学体包含不同方向的信息，如横切面、矢状面、冠状面，自然提供互补视图。这些互补的观点和相邻三维切片之间的内在相似性启发本文开发一种新的标注方式及其相应的半监督模型，以实现有效的分割。具体来说，本文首次提出了在一个标注体中只标注两个正交切片的正交标注方法，大大减轻了标注负担。然后，执行配准以获得稀疏标记卷的初始伪标签。

随后，通过引入未标记卷，提出了一种称为密集-稀疏协同训练(DeSCO)的双网络范式，该范式在早期利用密集伪标签，在后期利用稀疏标签，同时强制两个网络的输出一致。在三个基准数据集上的实验结果验证了我们在标注性能和效率方面的有效性。例如，只有10个带注释的切片，我们的方法在KiTS19数据集上达到了86.93%的Dice。代码和模型可在https://github.com/HengCaiNJU/DeSCO上获得。

迫切需要探索减轻手工标注对数量或质量要求的方法。主流的方法通常有两种范式:

1)降低标注质量，即弱监督分割;

2)减少标注数量，即半监督分割。

弱监督分割方法通常使用弱标注，如图像级标签、涂鸦、点或部分切片。它们中的大多数要么难以区分一些模糊的边界，要么额外的计算负担很大。此外，弱监督设置通常需要对每个图像进行粗标注。

因此，为了利用1)具有不准确伪标签的卷和2)其余未标记的卷，我们提出了一个简单而有效的端到端框架，即DenseSparse Co-training (DeSCO)，它由相同结构的两个分割模型组成。在训练开始时，模型主要从密集的伪标签中学习，对更确定的伪标签体素(即离配准源片较近的体素)有学习偏好，并通过交叉监督挖掘未标记的体。模型经过培训改进后，我们逐步去除伪标签，直到监督损失完全来自稀疏标注。同时，交叉监督的作用也相应被逐步强调。因为在交叉监督达成共识的过程中，可以修正之前培训中对不准确的伪标签引入的错误。总的来说，我们的贡献有三个方面:

1.提出了一种新的标注方式，对一个标注好的三维体只标注两个正交切片，大大减少了标注负担。

2.一种新的几乎没有监督的3D医学图像分割框架，稳定地利用我们的高效稀疏注释和耦合分割方法。

3.密集-稀疏协同训练范例，从密集伪标签和稀疏标签中学习，同时利用未标记的卷，通过交叉监督达成共识来降低噪声。

图2。概述拟议的DeSCO范例。对于具有正交标注的卷，Mreg将正交标注从两个方向传播到整个卷中，结果分别作为伪标签监督分割模型Mseg·a和Mseg·b。对于未标记的卷，Mseg·a和Mseg·b用它们的输出相互监督。权重图指导，颜色越白，权重越高。

在这项工作中，提出了一种新的标注方法，称为正交标注，并提出了一种由1)配准模块和2)DesCO分割模型组成的耦合训练方法。训练过程如图2所示。在接下来的部分中，我们详细介绍了问题设置、我们的正交注释、注册模块和提出的DeSCO范式。