Few Shot Medical Image Segmentation with Cross Attention Transformer论文速读-CSDN博客

本文链接：https://blog.csdn.net/qq_45745941/article/details/137955422

Few Shot Medical Image Segmentation with Cross Attention Transformer

摘要

本文提出了一种基于交叉mask注意力transformer的用于小样本医学图像分离的新框架，称为CAT-Net。我
提出的网络挖掘了支持图像和查询图像之间的相关性，限制它们只关注有用的前景信息，并提高了支持原型和查询特征的表示能力。
进一步设计了一个迭代细化框架，该框架以迭代方式细化查询图像分割，并依次提升支持功能。
代码地址

本文方法

小样本分割（FSS）旨在仅通过几个样本和密集注释的样本来分割新类别。在 FSS 中，数据集分为训练集 Dtrain（包含基类 Ctrain）和测试集 Dtest（包含新类 Ctest），其中 Ctrain ∩ Ctest = ∅。为了获得FSS的分割模型，每个训练/测试集（Si、Qi）实例化一个 N -way K-shot 分割学习任务。具体来说，支持集 Si 包含 N 个类的 K 个样本，而查询集 Qi 包含来自同一类的一个样本。以在支持集的指导下预测查询图像的新颖类。在推理过程中，模型直接在 Dtest 上进行评估，无需任何重新训练。

我们的 CAT-Net 概述如图 1（a）所示。它由三个主要组件组成：
1）mask合并特征提取（MIFE）子网，用于提取初始Q和S特征以及query mask;
2）交叉mask注意力Transformer（CMAT）模块，其中查询和支持功能相互促进，从而完善了查询预测;
3）迭代优化框架，按顺序应用CMAT模块，以持续提升分割性能。整个框架可以以端到端的方式进行训练。

在这里插入图片描述
原型分割模块。一旦获得增强的查询和支持功能，原型分割将用于获得最终预测。首先，通过对支持特征进行Mask平均池化来构建 C类的原型，如下所示：

然后采用迭代优化的策略