Recurrent Mask Refinement for Few-Shot Medical Image Segmentation
-
【2021 IEEE/CVF International Conference on Computer Vision (ICCV)】
-
研究背景
(1)Few-shot learning(少样本学习) 被提出以解决低数据环境中面临的挑战,但是将少样本学习模型应用于医学图像分割仍处于早期阶段;
(2)自然图像中的少样本学习与医学图像中的少样本学习不同,自然图像中少样本学习的主要研究方向是原型网络,而医学图像处理中的少样本学习大多数工作集中在生成新的训练数据,以扩大只给出少数标签的训练集,这样就导致了分割一个新的类别时,需要重新训练模型,最近,一些工作专注于设计不需要重新训练模型的网络架构;
(3)在医学图像分割中,通过清晰的边界将感兴趣区域与背景区分开是至关重要的。但是背景通常较大且空间不均匀,而前景较小且均匀,并且存在大量外观非常相似的组织,这些都为前景和背景区域的定义增加了模糊性。 -
主要贡献
(1)提出使用上下文关系编码器(CRE),使用前景和背景之间的相关性来增强对象边界周围的上下文关系特征;
(2)提出了一种用于少样本医学图像分割的新框架(RP-net),通过迭代地使用CRE和原型网络的循环模块来改进预测掩码;
(3)文中实现的CRE和循环模块是通用的,可以集成到其他类型的网络中,以增强上下文关系特征;
-
实验与结果
(1)在两个腹部CT数据集(ABD-110,ABD-30)和一个腹部MRI数据集(ABD-MR)上进行了实验,与SOTA方法进行比较:实验表明,本文的方法可以在不同图像形态(CT和MRI)的医学图像数据集上实现SOTA精度。此外,本文设计的少样本医学图像分割框架,在很大程度上优于其他具有相同动机的方法,如SE-Net;
(2)在ABD-110上进行消融实验:实验表明CRE通过使用相关性更好地捕捉了局部差异,但是性能改进仍然不显著。集成循环模块来重新捕获CRE中的局部变化是非常重要的,可以极大地提高性能。
(3)还对三种不同的特征提取主干(VGG16,Res18和U-Net)进行了实验,说明RP-Net与不同的骨干网是兼容的;在相关层中对不同的半径进行了实验,显示了本文的方法对半径不是很敏感;此外,还对迭代次数和初始化的效果进行了实验。