基于contrast learning的few-shot learning论文集合（2）

基于contrast learning的few-shot learning论文集合（1）
基于contrast learning的few-shot learning论文集合（3）

论文五：ICCV 2021《Partner-Assisted Learning for Few-Shot Image Classification》

论文链接：https://openaccess.thecvf.com/content/ICCV2021/papers/Ma_Partner-Assisted_Learning_for_Few-Shot_Image_Classification_ICCV_2021_paper.pdf
code链接：无

1. 摘要

few-shot学习已经被研究来模仿人类的视觉能力和学习有效的模型，而不需要详尽的人类注释。尽管针对自适应的元学习思想已经主导了少量学习方法，但如何训练特征提取器仍然是一个挑战。在本文中，我们着重于训练策略的设计，以获得一个元素表示，使得每个新类的原型可以从几个标记的样本中估计出来。我们提出了一个两阶段的训练方案，伙伴辅助学习(PAL)，它首先训练一个Partner Encoder来建模成对相似性并提取特征作为soft-anchors，然后通过将其输出与soft-anchors对齐来训练一个Main Encoder，同时尝试最大化分类性能。分别设计了logit-level和feature-level两个对齐约束。对于每一个few-shot任务，我们执行原型分类.

2. 动机

为了促进快速模型自适应的few-shot学习，在训练过程中使用元学习来模拟few-shot任务，通过设计最优的自适应算法或学习基于原型的分类器的共享特征空间。

• 原型分类方法：如下图（a），通过对少数标记样本(即，support)的特征进行平均来估计few-shot原型。一个新的样本(即，查询)是通过使用最近邻搜索分类来比较其与所有原型的余弦相似度从而达到分类目的。
• 在分类上下文中，特征分布应该是(1) 每个聚类内紧凑 (即，支持类内相似性更高)，(2) 聚类之间有区别(即，支持类间距离更远)，如下图（b）。
• 蒸馏方法：对于每个图像，教师模型生成软标签来模拟不同class之间的接近度。通过比较教师模型和学生模型的输出，使用软标签对学生模型进行训练，以保留更多表示class关系的细节。因此，学生模型在few-shot任务上达到了更高的精度。尽管知识蒸馏取得了成功，但由于教师模型曾经根据基类的 hard-anchors进行了严格的优化，因此性能提升仍然有限。
  
  受原型学习和监督对比学习中使用的动态和单个代表的启发，为了提高特征提取器的泛化能力，本文提出提取可被用于动态表示类的特征，并将这些特征设置为soft-anchors，以正则化用hard-anchors训练的特征提取器。与针对已经经过hard-anchors优化的特征提取器进行迭代的知识蒸馏相比，我们的方法是利用base domain上的多种特征，从零开始正则化一个新的特征提取器，该特征提取器在交叉熵损失下使用类标号进行训练。本文的贡献如下:
  1）我们提出了Partner-Assisted Learning (PAL)：一个在few-shot分类设置下的表示学习框架，其中Partner Encoder和Main Encoder按顺序进行训练，使从Partner Encoder获得的特征用作soft-anchors来规范Main Encoder从头开始训练。
  2）我们在feature-level 和logit-level提出了两种对齐方法，它利用soft-anchors在类标签训练期间进行正则化。
  3）PAL在四个few-shot learning基准上达到了最佳性能，并提高了监督学习设置中的分类准确性。

3. Partner-Assisted Learning

如下图所示，首先使用${\mathcal{D}}_{base}$来训练Partner Encoder $f_P$以生成 soft-anchors。然后，固定$f_P$，使用${\mathcal{D}}_{base}$训练主编码器$f_M$，在PAL框架下，利用$f_P$在logit-level或feature-level的对齐约束对其进行正则化。在few-shot评估中，与[45,6]类似，我们直接使用预训练的$f_M$使用${\mathcal{D}}_S$估计每个类的原型，并在${\mathcal{D}}_Q$中对测试样本进行分类。

4. Partner Encoder - Supervised Contrastive Learning

使用监督对比学习(SupCT)对Partner Encoder $f_P$进行训练，对所有特征实例进行聚类和两两比较。同一类的特征被推到一起，而来自不同类的特征被推到一边。监督对比学习的细节如下所示。

• Supervised Contrastive Learning (无原型，样本间对比)
  给定具有$B$张图像的批${\mathcal{D}}_{raw}$，即$|{\mathcal{D}}_{raw}|=B$，通过对每张图像执行两次单独的增强，生成具有$2B$个样本的增强批。
  其中，$Aug$表示随机变换图像的数据增强函数群。对于每个图像$\mathcal{D}(i)$，其中 i ∈ I ≡ { 1 … 2 B } i∈\mathcal{I}≡\{1…2B \} i∈I≡{ 1…2B}，选择一个正指标集 I p o s ( i ) ⊂ I ∖ { i } \mathcal{I}_{pos}(i) \subset \mathcal{I} \setminus \{i \} Ipos​(i)⊂I∖{ i}，使得 j ∈ I p