【阅读笔记】Imposing Semantic Consistency of Local Descriptors for Few-Shot Learning

Abstract

少样本学习受到标记训练数据稀缺的影响。将图像的局部描述符作为图像的表示可以大大增加现有的标记训练数据。现有的基于局部描述符的小样本学习方法利用了这一事实，但忽略了局部描述符所表现的语义可能与图像语义无关。在本文中，我们从一个新的角度来处理这个问题，即对图像的局部描述符施加语义一致性。我们提出的方法由三个模块组成。第一个是局部描述符提取器模块，它可以在一次前向传递中提取大量局部描述符。第二个是局部描述符补偿器模块，它用图像级表示来补偿局部描述符，以使局部描述符和图像语义之间的语义对齐。第三个是基于局部描述符的对比损失函数，它监督整个管道的学习，目的是使图像的局部描述符所承载的语义与图像语义相关和一致。理论分析证明了我们提出的方法的泛化能力。在基准数据集上进行的综合实验表明，我们提出的方法实现了局部描述符的语义一致性和状态性能。

Introduction

图像的局部描述符携带的语义表现出显着的可变性，如图1所示，其中局部描述符携带的语义可能与图像语义无关。因此，直接将局部描述符视为相应图像的表示是有问题的。然而，现有的基于局部描述符的少样本学习方法已明确/隐含地将局部描述符视为相应图像的表示。例如，CovaMNet  设计了一个协方差度量来衡量支持类和查询图像之间的相似性，每一个都由局部描述符的协方差矩阵表示。 DN4  利用余弦度量来测量支持类和查询图像之间的相似性，其中查询图像的每个局部描述符与其支持类的最近邻居进行比较。

我们提出的方法由三个模块组成。第一个是局部描述符提取器模块，它可以在单个前向传递中提取大量图像的局部描述符。由于这些局部描述符所承载的语义可能与图像语义无关，因此我们用图像级表示来补偿每个局部描述符，以使局部描述符与图像语义之间的语义对齐。这被公式化为第二个局部描述符补偿器模块。为了测量两幅图像之间的相似度，我们根据空间顺序对两幅图像的局部描述符进行配对，并通过聚合配对局部描述符的相似度得分来获得相似度得分。基于图像之间的相似度得分，我们提出了第三个模块，一个基于局部描述符的对比损失函数，它监督整个管道的学习，使图像的局部描述符所承载的语义与图像语义相关和一致。

Contributions

1. 局部描述符所表现的语义可能与图像语义无关，这通常被现有的基于局部描述符的少样本学习方法所忽略。我们从强加局部描述符语义一致性的新角度来处理这个问题，使图像的局部描述符所承载的语义与图像语义相关和一致。
2. 可视化表明我们提出的方法实现了局部描述符的语义一致性。理论分析证明了我们提出的方法的泛化能力。
3. 比较结果表明，我们提出的方法在保持高效率的同时实现了最先进的性能，显示了施加局部描述符语义一致性的优越性。

Method

 1、局部描述符提取

局部描述符提取器用于提取局部描述符。通过使用不包括全局池化层或全连接层的 CNN，支持图像和查询图像都可以映射到 3-D 张量。所采用的 CNN 可以表示为 φθ(·) ∈ RC×H×W，其中 θ 表示 CNN 的可学习参数，C、H、W 分别表示特征维度、高度和宽度。我们可以为每个图像获得 U 个具有 C 维的局部描述符，其中 U = H W。为简洁起见，我们表示为 F = [ f1, f2, 。 . . , fU ] ∈ RC×U 图像的局部描述符，其中 fi 表示第 i 个局部描述符。每个局部描述符都有自己的感受野，对应于相应图像的特定图像区域。值得注意的是，1）局部描述符提取器将整幅图像作为输入，2）在单个前向传递中可以获得 U 个局部描述符。以这种方式获得局部描述符比首先随机裁剪 U 个局部区域然后执行特征映射快 U 倍。

2、局部描述符补偿器

我们使用图像来说明局部描述符补偿器的工作原理。每个局部描述符对应于图像的特定图像区域。由于类内变异较大，这些局部描述符所承载的语义可能与图像语义无关；参见图 1 。这些局部描述符的平均池化可用于提取图像级表示：

它与图像语义相关，并且已被证明在标准图像分类任务中表现良好。然而，在少样本学习设置中，标记的训练数据非常稀缺。每个类的底层分布不能通过有限的图像级表示有效地表示。将局部描述符作为对应图像的表示可以极大地扩充现有的标记训练数据，从而缓解标记训练数据的稀缺性。现有的基于局部描述符的few-shot学习方法取得了很大的成功，但忽略了局部描述符所承载的语义可能与图像语义无关的事实。

为了使局部描述符所承载的语义与图像语义相关，我们用图像级表示来补偿每个局部描述符，如下所示：

其中 f^ 表示第 i 个补偿的局部描述符。补偿后，所有局部描述符都可以接近图 4 所示的图像级表示（通过余弦距离测量），从而减少了局部描述符的语义差异。补偿的局部描述符是局部描述符和图像级表示的混合。由于局部描述符的差异，补偿后的局部描述符也显示出一些可变性，这可能比仅使用有限的图像级表示更好地表示每个类的底层分布。

3、基于局部描述符的对比损失函数

为了测量支持类和查询图像之间的相似度，我们根据空间顺序对局部描述符进行配对，并计算相似度得分如下：

其中 sm,j 表示查询集中第 m 个支持类和第 j 个查询图像之间的相似度得分，^f (S) i,m 表示 第m个支持类 中唯一支持图像的第 i 个补偿局部描述符，并且 ^f (Q) i, j 表示查询集中第 j 个查询图像的第 i 个补偿局部描述符。第 j 个查询图像属于第 m 个支持类的概率可以通过下式获得：

其中α表示温度超参数。然后，对于所考虑的特定情节，我们可以制定基于局部描述符的对比损失函数如下：

这里，y j 表示第 j 个查询图像的标签，I(·) 是一个指示函数，如果其参数为真则等于 1，否则为零。训练可以通过最小化 Eq(5)以间歇方式进行。该损失函数有两个性质：1）最大化查询图像与其对应类之间的相似度分数，这将促进属于同一类的补偿局部描述符的聚集，这意味着补偿局部描述符的语义一致性是强加的。 2）它最小化查询图像与其他不相关类之间的相似度分数，这将迫使属于不同类的补偿局部描述符分离，这意味着补偿局部描述符所携带的语义与图像语义相关。

实验