基于contrast learning的few-shot learning论文集合（3)

基于contrast learning的few-shot learning论文集合（1)
基于contrast learning的few-shot learning论文集合（2)

论文八：《Imposing Semantic Consistency of Local Descriptors for Few-Shot Learning》TIP 2022

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9690702
代码链接：无

1. 动机

现有的基于局部描述符的小样本学习方法直接将局部描述符作为对应图像的表示，没有考虑到局部描述符所携带的语义可能与图像语义无关（如上图所示）。
作者为了验证该结论做了相关实验，如下图7(a)(b)©所示，来自不同类的局部描述符极大可能相互重叠。即，局部描述符所展示的语义可能与图像语义无关。现有的基于局部描述符的小样本学习方法忽略了这一点，这促使作者将局部描述符的一致性强加于小样本学习。

2. 贡献

在本文中，作者从增强图像局部描述符语义一致性的新角度来处理这个问题。提出的方法包括三个模块：
1）第一个是局部描述符提取器模块，它可以在一次向前传递中提取大量的局部描述符
2）第二个是局部描述符补偿器模块，它用图像级表示对局部描述符进行补偿，以使局部描述符与图像语义保持一致
3）第三个是基于对比损失函数的局部描述符，监督整个pipeline的学习，目的是使图像的局部描述符所携带的语义与图像语义相关且一致

3. 方法

如上图所示，该方法主要由三个模块组成：局部描述子提取器、局部描述子补偿器和基于对比损失函数的局部描述子。
下面详细介绍：

• 局部描述子提取器
  这里要获得局部表征有两种方式，一种是使用CNN来提取随机裁剪的局部区域的特征，在一次前向传递中只获得一个局部描述符；第二种是将整个图像作为CNN的输入，将CNN的全局池化层之前的每个空间位置的特征作为局部描述符，通过这种方式，可以在一次向前传递中获得大量的本地描述符。后一种方法效率更高，因此这里采用后一种方法获得局部特征。
  局部描述符提取器用于提取局部特征，通过使用不包含全局池化层和全连接层的CNN，support图像和query图像都可以映射到三维张量。记经过CNN为${\varphi }_{\theta }\in {\mathbb{R}}^{C\times H\times W}$，则每张图像可以获得$U$个$C$-dim的局部特征，即$U=HW$。为了简化，可以将一张图像的局部特征记为$F=[f_1,f_2,\cdots ,f_U]\in {\mathbb{R}}^{C\times U}$，其中$f_i$表示第$i$个局部特征。
  每个局部特征有自己的感受野，对应于对应图像的特定图像区域。值得注意的是，1) 局部描述符提取器以整个图像作为输入，2) $U$个局部特征可以在一次向前传递中获得，这种方法获得局部描述符的速度比先随机裁剪$U$个局部区域再进行特征映射快$U$倍。

• 局部描述子补偿器
  作者做了相关实验发现使用前面的局部描述子提取器得到的局部描述子虽然效率更高了，但是方差明显大于先随机裁剪$U$