小样本荣登Nature!这不禁让我跪着看完【小样本学习+分割】

【小样本学习+分割】是计算机视觉领域的一个重要研究方向，它旨在使模型能够基于极少量的标注数据快速适应并准确分割出新的类别。这一技术对于减少数据标注成本、提高模型泛化能力具有重要意义。在小样本学习的基础上进行分割任务，可以使得模型在面对新类别时，即使只有少量样本也能展现出良好的性能。这对于实际应用中快速部署和适应新场景具有重要价值，特别是在数据获取成本高或数据稀缺的领域。

为了帮助大家全面掌握【小样本学习+分割】的方法并寻找创新点，本文总结了最近两年【小样本学习+分割】相关的20篇顶会论文研究成果，这些论文、来源、论文的代码都整理好了，希望能给各位的学术研究提供新的思路。

需要的同学扫码添加我

回复“小样本分割”即可全部领取

任意三篇论文解析

1、Adaptive FSS: A Novel Few-Shot Segmentation Framework via Prototype Enhancement

方法

• 问题定义：Few-Shot Segmentation (FSS) 旨在使用少量标注图像完成新类别的分割任务。

• 现有方法：现有基于元学习的方法主要关注查询和支持特征之间的复杂交互机制设计，但这些方法依赖于固定特征匹配，缺乏适应性。

• 提出框架：提出了一种基于适配器机制的新型框架，称为Adaptive FSS，可以高效地将现有的FSS模型适应于新类别。

• Prototype Adaptive Module (PAM)：设计了PAM，利用支持集提供的准确类别信息导出类别原型，增强多阶段表示中的类别特定信息。

• 兼容性：该方法与不同主干网络的多种FSS方法兼容，只需在编码器层之间插入PAM。

• 训练策略：遵循元学习范式中的情节训练策略，通过PAM在测试前进行微调步骤，以通过原型增强有效适应模型到新类别。

创新点

• 适配器机制：提出使用适配器机制来适应新任务，而不是传统的元学习策略。

• Prototype Enhancement Module (PEM)：设计了PEM，通过支持集编码类别原型，增强新类别的特征信息。

• Learnable Adaptive Module (LAM)：设计了LAM，使用投影层进一步建模任务特定信息。

• 参数效率：通过仅微调PAM中的参数，使得基础分割模型能够快速适应新类别，而PAM参数占整个网络的比例很小（平均为0.5%）。

• 通用性：该方法不需要专门的解码器设计，适用于任何具有不同主干的现有FSS模型。

• 性能提升：在PASCAL5i和COCO-20i数据集上的实验表明，该方法在FSS任务中实现了对SOTA方法的显著性能提升。

2、Cross-Domain Few-Shot Segmentation via Iterative Support-Query Correspondence Mining

方法

• 问题定义：Cross-Domain Few-Shot Segmentation (CD-FSS) 旨在使用有限的示例对来自不同领域的新类别进行分割。

• 关键洞察：论文提出了两个关键洞察，即跨域微调阶段的必要性以及在朴素微调过程中由于新类别样本稀缺而导致的过拟合风险。

• Bi-directional Few-shot Prediction (BFP)：设计了BFP，通过双向方式建立支持查询对应关系，利用增强的监督信号减少过拟合风险。

• Iterative Few-shot Adaptor (IFA)：进一步扩展BFP到IFA，这是一个递归框架，通过迭代捕获支持查询对应关系，目标是最大化利用来自稀疏新类别样本的监督信号。

• 跨域微调策略：提出了一种新颖的跨域微调策略，通过迭代地应用BFP来解决数据稀缺带来的挑战，并减少过拟合风险。

创新点

• 双向预测：BFP通过双向Support-to-Query (S2Q) 和 Support-to-Query-to-Support (S2Q2S) 对应关系，引入了额外的监督信号，有助于在微调阶段减少过拟合。

• 迭代适配器：IFA通过迭代应用BFP，递归地挖掘支持查询对应关系，充分利用有限样本的监督信号，提高了模型对新类别的适应能力。

• 跨域挑战和过拟合的同步解决：提出的方法不仅解决了跨域问题，同时也缓解了过拟合问题，实验结果表明该方法显著优于现有技术。

• 广泛的实验验证：在四个CD-FSS基准数据集上进行了广泛的实验评估，验证了所提方法的有效性，尤其是在缓解过拟合挑战方面。

 需要的同学扫码添加我

回复“小样本分割”即可全部领取

3、Self-Calibrated Cross Attention Network for Few-Shot Segmentation

方法

• 问题背景：Few-Shot Segmentation (FSS) 的关键在于如何有效利用支持样本。现有方法通常将支持样本的前景特征压缩成原型，但会丢失一些空间细节。

• 现有问题：使用交叉注意力将查询特征与未压缩的支持前景特征融合时，查询背景特征可能无法在支持前景特征中找到匹配的背景特征，导致无效分割。

• SCCA块设计：提出了自校准交叉注意力（SCCA）块，首先将查询和支持特征分割成块，然后设计一个块对齐模块，使每个查询块与其最相似的支持块对齐，以实现更有效的交叉注意力。

• PMA模块：开发了伪掩码聚合（PMA）模块，生成伪查询掩码，粗略定位查询前景。

• 特征融合：通过特征融合（FF）模块适配查询和支持特征，以便更好地进行交叉注意力。

• SCCA机制：SCCA采用查询块作为Q，将同一查询图像的块和对齐的支持图像块作为K&V，以解决背景不匹配和前景-背景纠缠问题。

• Scaled-Cosine机制：设计了缩放余弦机制以更好地利用支持特征进行相似性计算。

创新点

• 自校准交叉注意力（SCCA）：一种新颖的注意力模块，能够同时计算自我和交叉注意力，有效解决背景不匹配和前景-背景纠缠问题。

• 块对齐模块（PA）：通过计算查询和支持特征的原型之间的余弦相似性，对每个查询块与其最相似的支持块进行对齐，提高注意力计算的准确性。

• 伪掩码聚合（PMA）：一种生成鲁棒伪掩码的方法，使用所有成对相似性进行加权求和，而不是仅使用最大值，以减轻噪声影响。

• 缩放余弦（SC）机制：在SCCA中使用缩放点积进行自我注意力，使用余弦相似性进行交叉注意力，鼓励查询前景特征更多地整合来自支持图像的信息。

• 实验结果：在PASCAL-5i和COCO-20i数据集上的广泛实验表明，所提出的模型性能优越，例如在COCO-20i上的5-shot设置下的mIoU得分比之前的最佳方法提高了5.6%以上。