小样本论文：Boosting Few-shot Fine-grained Recognition withBackground Suppression and Foreground Alignm

摘要

      小样本学习和细粒度识别的主要挑战有以下两个方面：首先，缺乏标记样本使得学习到的模型容易过拟合。其次，它还受到背景差异以及数据集的类间差异较小，类内差异较大的影响。为了解决这一具有挑战性的任务，我们提出了一个两阶段背景抑制和前景对齐框架，该框架由背景激活抑制 (BAS)模块、前景对象对齐 (FOA)模块和局部到局部 (L2L)相似性度量组成。具体而言，引入 BAS 模块生成前景掩膜进行定位，以减弱背景干扰，增强优势前景目标。接着FOA模板根据每个支持样本对查询样本的校正重建每个支持样本的特征映射，解决了支持 -查询图像对之间的不对齐问题。为了使所提出的方法能够捕获混淆样本中的细微差异，我们提出了一种新的 L2L 相似性度量，以进一步测量嵌入空间中一对对齐空间特征之间的局部相似性。

小样本细粒度的主要挑战:背景差异，以及横向观察类间差异较小，类内差异较大。

Network structural

      图中橙色箭头是raw图像的流程，蓝色箭头是refined图像的流程。原始图像经过背景激活抑制模块得到精细图像，分为两路进入特征提取器（文献代码提到两种模型：C-conv4、R-resnet12）得到raw与refined的特征向量，之后二者一起进入特征对其模块，得到对齐的支持特征（raw与refined），最后把处理得到的对齐的支持特征和查询特征送入局部到局部的相似性度量模块进行度量，得到两组相似性分数，进行加权求和得到最终的相似性分数。

BAS(背景激活抑制)模块

       首先，通过信道聚合得到激活图，根据阈值进行划分所需要的区域，大于阈值的部分设为1，小于阈值的部分设为0（阈值分割是一种基本的图像处理技术：阈值是指将图像中的像素值分成两个或更多个不同的区域，通常是为了将图像中的对象从背景中分离出来。）计算连通区域的坐标得出一个嵌套box，把所需要的区域嵌套出来，进行等比例放大。

attentive erasing strategy

       由于前景特征和背景特征之间的分布不平衡，细粒度识别模型倾向于从小的识别对象区域进行识别。为了解决这一问题，注意擦除策略作为一种高效的解决方案已被广泛应用于弱监督对象定位。我们提出通过删除激活度高于阈值的特征图的突出区域来促进 BAS 的学习。

FOA(前景对象对齐)模块

       由于图像中前景物体的尺度、位置和姿态变化而导致的支持图像与查询图像在嵌入空间中的不对齐问题。

语义相关矩阵：

对齐函数：

       通过FOA模块，我们会得到raw的对齐的支持特征，refined的对齐支持特征。

L2L(和局部到局部相似性度量)模块

       利用余弦相似度进行计算，分别计算原始图像（对齐后的支持特征和查询特征）和精细图像（对齐后的支持特征和查询特征）的相似度得分，最后进行加权求和。

实验结果

       文献中选用：CUB-200-2011、Stanford Dogs、Stanford Cars三个数据集进行试验

消融研究

贡献

        •我们通过经验揭示了显著提高小样本任务性能的两个关键点，一是减弱背景干扰，二是对准前景响应。

        •在我们的框架中实例化了三个设计良好的模块，即 :BAS背景激活抑制模块、FOA前景对象对齐模块和L2L局部到局部相似性度量模块。

        •我们在三个流行的细粒度数据集上进行了全面的实验，我们提出的模型 达到了最先进的性能。

作者解释说明：此文仅供参考，侵权联系删除。