Boosting Few-Shot Visual Learning with Self-Supervision 阅读笔记

        小样本学习和自监督学习解决了同一个问题的不同方面:如何在很少或没有标记数据的情况下训练模型。在这项工作中，我们利用这两个领域的互补性，并提出了一种通过自我监督来提高小样本学习的方法。

介绍：

       小样本学习依赖迁移学习的方式。有两个阶段。在第一阶段，通常使用一组不同的类(称为基类)来训练模型，基类与大量带注释的训练示例相关联。这一阶段的目标是让少镜头模型获得可转移的视觉分析能力，通常以学习表示的形式，在第二阶段中被动员起来。在接下来的步骤中，模型确实学会了识别在第一个学习阶段看不到的新类，每个类只使用几个训练示例。受到少镜头学习和自监督学习之间联系的启发，我们提出将这两种方法结合起来，以提高少镜头模型的迁移学习能力。

方法：

       两个数据集，一个是Db，基类训练集。另一个是Dn满足N-way K-shot模式。小样本算法的主要组成部分是特征提取器F。输入一张图像X，输出d维特征F(x)。对于原型网络和余弦分类器，余弦分类器在学习特征提取器的同时学习实际的基分类器，而原型网络仅仅依赖于类级平均。

原型网络：

选取Ｎ个类每个类k个样本称之为supportset。使用特征提取器F，计算每个类的平均特征（中心）。然后构建一个分类器，输入Query img，输出其属于supportset的分数。其中sim(·，·)为相似度函数，可以是余弦相似度，也可以是负平方欧氏距离。训练阶段使用BCELOSS计算损失，反向传播。

在第二学习阶段，冻结特征提取器Fθ，将新类的分类器简单定义为C(·;Dn)，其原型定义为(1)中D∗= Dn。

余弦分类器：

Fθ和基于余弦相似度的分类器。表示Wb = [w1，…， wNb]为d维分类权重向量的矩阵，为输入图像的归一化分数

自监督促进小样本学习：

       扩展第一阶段的任务，除了识别基类的主要任务还使用了自监督的辅助任务。我们考虑了两种将自我监督纳入少镜头学习算法的方法:(1)通过使用基于自我监督任务的辅助损失函数，以及(2)在训练过程中以半监督的方式利用未标记数据。

自监督辅助损失：

训练中加入自监督模块，损失为Lfew+Lself。

对于自监督损失，两个任务:预测由图像[14]引起的旋转，从同一幅图像[6]中预测两个补丁的相对位置

图像旋转：将图像旋转0，90，180，270输入特征提取器F，构建一个新的分类器，预测图像旋转了多少度。

相对补丁位置：将图像划分为九个块，计算8个区域相对于正中间的位置。