PFENet++- Boosting few-shot Semantic Segmentation with the Noise-filtered Context-aware Prior Mask

摘要

在这项工作中，我们重新审视了 "Prior Guided Feature Enrichment Network for Few-Shot Segmentation "中提出的先验掩码指导。先验掩码作为一个指标，突出了未知类别的感兴趣的区域。在最近的研究中，在不同的框架上取得了更好的性能。然而，目前的方法直接采用了元素与元素之间的对应关系来表示属于目标类别的概率。因此，在先验掩码生成过程中，更广泛的背景信息很少被利用。为了解决这个问题，我们首先提出了Context-aware Prior Mask (CAPM)，它可以利用附近额外的语义线索来更好地定位查询图像中的物体。其次，由于最大相关值容易受到噪声特征的影响，我们又进一步加入了一个轻型的噪声抑制模块（NSM）来筛选出不必要的反应，产生高质量的掩码来提供先验知识。实验表明，这两个贡献都有很大的实用价值，命名为PFENet++的新模型在三个具有挑战性的基准数据集PASCAL-5iCOCO-20i和FSS-1000上的表现明显优于基线PFENet和所有其他竞争对手。在不影响效率的情况下取得了新的最先进的表现，表现出了在few-shot语义分割中成为新的baseline的潜力。

介绍

深度学习显着提高了语义分割的性能。然而，强大的语义分割模型在很大程度上依赖于具有足够完全标记数据的训练，并且它们很难处理在训练阶段没有看到新类的新应用程序。
小样本分割（FSS）仅在支持集中提供一些标注的情况下快速适应模型来分割查询集中以前未知类别。模型是在带有足够标注信息的基础