Few-Shot Learning with Global Class Representations阅读笔记

摘要：

在本文中，我们提出通过使用基类和新类训练样本学习全局类表示来解决具有挑战性的少数次学习(FSL)问题。从支持集计算的情景类平均值通过注册模块注册到全局表示。为了弥补新类训练样本的不足，提出了一种有效的样本合成策略以避免过拟合。

介绍：

在本文中，我们提出了一种新的FSL方法，将每个类(基类或新类)表示为嵌入空间中的单个点。学习这种全局类表示的一个关键障碍是跨基类和新类的不平衡训练样本数。

两种方法解决训练样本不平衡的问题。

1. 样本合成：通过从同一类样本的子空间中随机采样数据点，我们的综合策略可以有效地增加类内方差(参见图1中的橙色叉)。
2. 其次，我们引入情景训练来平衡基本类样本和新类样本。从支持集计算出的情景类平均值通过注册模块注册到全局表示中。这将产生一个注册的全局类表示，用于使用查询集计算分类损失。通过学习将每个数据与所有全局类表示进行比较，我们的注册模块迫使每个数据将其类的全局表示“拉”向自己，并将嵌入空间中的其他全局表示“推”开(见图1中的蓝色箭头)。

方法：

注册模块：

       我们的注册模块将训练样本与所有训练班的全局表示进行比较，并选择相应的全局表示。定义了注册损失，以联合优化全局表示和注册模块。

       具体来说，特征为将该样本的视觉特征和所有全局类表示送入注册模块R。对于每个视觉特征fi，注册模块R生成一个向量，

Vi表示样本Xi和每一个类的全局表示的距离。

样本和标签的损失函数如上所示。CE表示交叉熵损失。

通过在嵌入空间中将样本与Ctotal中所有类的全局表示进行比较，我们的注册模块使每个全局表示接近其类内的样本，并远离类外样本。

样本合成模块：

       本文中，生成样本分为两个步骤。1.用原始样本生成新样本。2.利用第一步得到的所有样本合成一个新的样本。

       具体来说，我们首先使用随机裁剪、随机翻转和数据幻觉[35]，用原始样本生成新样本。新样本总共Kt个。

       使用第一步生成的Kt个样本，合成新的样本。具体做法如下所述。

首先从Kt个样本中选择Kr个样本。

 提取Kr个样本的特征为：{f1， .., fkr}。计算距离{ν1, ..., νkr}，且使得距离服从均匀分布。

Rcj为合成的样本。

小样本学习注册流程：

Ctotal由两个不相交的集组成:一组基类Cbase和一组新类Cnovel(≤5).首先使用原型网络的方法，获得每个类的初始质心。采用情景训练的策略，训练测试匹配。