ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation

“ScribFormer: Transformer让卷积神经网络在基于涂鸦的医学图像分割任务中表现更佳”

最近的涂鸦监督分割方法通常采用具有编码器-解码器架构的卷积神经网络（CNN）框架。尽管该框架有多个优点，但通常只能通过局部感受野捕捉卷积层的小范围特征依赖性，这使得难以从涂鸦注释提供的有限信息中学习全局形状信息。为了解决这个问题，本文提出了一种新的CNN-Transformer混合解决方案，用于涂鸦监督的医学图像分割，称为ScribFormer。所提出的ScribFormer模型具有三分支结构，即CNN分支、Transformer分支和注意力引导的类激活图（ACAM）分支的混合。具体而言，CNN分支与Transformer分支协同工作，将从CNN学到的局部特征与Transformer获得的全局表示融合，可以有效克服现有涂鸦监督分割方法的局限性。此外，ACAM分支有助于统一浅层卷积特征和深层卷积特征，进一步提高模型的性能。在两个公共数据集和一个私有数据集上进行的大量实验证明，我们的ScribFormer在涂鸦监督分割方法方面表现优越，并且甚至比完全监督的分割方法取得更好的结果。代码已发布在 https://github.com/HUANGLIZI/ScribFormer。

图1. 不同方法在分割结果上的性能比较：(a) 输入图像、掩膜和涂鸦注释，(b) 基于CNN的完全监督方法（UNet++ [1]），© 基于CNN的涂鸦监督方法（UNet++），以及 (d) 我们提出的ScribFormer。

图2. 我们提出的ScribFormer的概述。该框架包括混合的CNN-Transformer编码器、CNN解码器、Transformer解码器和注意力引导的类激活图（ACAM）分支。CNN预测y_CNN和Transformer预测y_Trans分别与涂鸦注释和动态混合的伪标签进行比较。此外，ACAM分支将多尺度的ACAM与ACAM一致性进行比较。

图3. FCU（特征耦合单元）的示意图。由于CNN和Transformer的特征维度不一致，卷积块的特征图和Transformer块的补丁嵌入在通道和空间对齐之后在下采样和上采样块中进行融合。

图4. 注意力引导的类激活图（ACAM）分支的示意图。

图5. ScribFormer与其他ACDC和MSCMRseg数据集上最先进方法的定性比较。下标F和S分别表示使用完全标注掩膜或涂鸦注释训练的分割模型。