【论文阅读】APANet：用于小样本分割的自适应原型对齐网络

阅读APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation

用于小样本分割的自适应原型对齐网络
TMM 2022 原文 | Jiacheng Chen, Bin-Bin Gao等 | 未开源
参考博文

1 出发点

作者认为之前的方法直接把训练图像背景部分视为负样本对分割测试图像中新类的泛化性不好，将前景原型与查询特征进行特征比较，并在训练时将查询图像中的整个背景特征作为负样本。这将导致FSS的一个问题，因为测试集中的一些新类对象可能出现在训练图像中，但在训练过程中被视为背景。还有一个问题是：特定于类的分割方法想要查询特征向前景原型靠近，并且迫使模型将与训练类之外的类视为背景。
本文将模型分为两个分支：（1）特定于类的分支（2）与类无关的分支。（1）激活前景，抑制背景，（2）激活背景，抑制前景。

2 步骤

（1）支持前景原型生成
传统MAP方法生成，再将扩展的前景原型向量与查询特征拼接
（2）使用卷积模板g对融合后的特征进行编码

θl代表可学习的参数，g相当于分类器，判断Fq上的像素是否与对应位置的Ps相匹配。
（3）查询背景原型生成
先分类，在计算背景原型。
使用K-means对查询背景聚类（k=3），得到K个Mqb，聚类的效果不好，需要使用Mq删除重叠的部分。然后使用MAP计算原型向量，
（4）用于完全比较的特征对齐
先将K个Pqb在对应Mask位置上扩展，再与Fq拼接，将Pqb映射到查询特征上


再使用g分类器，参数θl与式（3）中共享。

3 K-shot和损失函数

对于K-shot，计算平均的Ps，由于Nq=1，不需要考虑Pqb。

使用交叉熵，λ = 0.5。L1、L2分别代表两个分支的损失。

4 实验结果

voc

coco

5 总结

本文给出了对图像背景的一种处理方法，即将背景视作要分割的部分（1-Ms），利用可知类和不可知类做特征对齐，类似于BAM，去除不想分割的部分。我们已经知道支持和查询前景相似，但背景可能完全不同，所以文中直接对查询背景分析，使用K-means聚类。其中特征对齐部分，背景分割分支学习参数与前景分支共享，提供了一种利用负样本的方法。