3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching Between 3D and 2D Networks

3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching Between 3D and 2D Networks

摘要

1. 背景与挑战：
   医学图像分割通常需要大量精确标注的数据集，但像素级注释是一项耗时的任务，需要领域专家的大量努力，因此在实际临床场景中很难获得。在这种情况下，减少所需标注量是一种更实际的方法。稀疏标注是一种可行的方向，它只涉及对少量切片进行注释，并且与传统的弱标注方法（如边界框和涂鸦）相比，具有几个优点，因为它保留了精确的边界。

2. 挑战与解决方案：
   从稀疏标注学习具有挑战性，因为监督信号稀缺。为了解决这个问题，我们提出了一个框架，可以通过跨教学的方式稳健地从稀疏标注中学习。考虑到3D和2D网络的特点，我们开发了两种伪标签选择策略，即硬软置信度阈值和一致标签融合。

3. 伪标签选择策略：

   • 硬软置信度阈值：通过设置阈值，将预测分为自信（硬）和不确定（软）两类。高于阈值的预测被视为硬标签，低于阈值的预测被视为软标签。
   • 一致标签融合：将来自3D和2D网络的预测结果以一致的方式融合，以生成最终的伪标签。这有助于提高整体分割质量。

GitHub上，可供研究者使用。这为更广泛的社区提供了一个工具，可以在医学图像分割中利用稀疏标注进行学习。
代码地址

方法

图1. 交叉标注示例。 (a) 和 (b) 是横断面切片的典型标注；© 和 (d) 是冠状面切片的典型标注；(e) 是矢状面切片的典型标注，(f) 是交叉标注的3D视图。

图2. 提出的3D-2D交叉教学框架概述。对于具有交叉标注的体积，3D网络和2D网络对其进行预测。我们使用硬软阈值和一致的预测融合来选择可信的伪标签。然后，伪标签与地面真值稀疏注释混合，以监督其他网络。

其中，MIX(·, ·) 是一个函数，用GT中的标签替换 预测结果中中那些有标注的体素的标签。

实验结果