【阅读笔记】Task-Adaptive Feature Sub-Space Learning for few-shot classification

Abstract

最近，Few-Shot Learning (FSL)，或者从每个新类中很少（通常是 1 或 5 个）示例中学习（在训练期间看不到），已经受到了很多关注和显着的性能提升。虽然已经为 FSL 提出了许多技术，但有几个因素对 FSL 性能最重要，即使是最简单的技术也能获得 SOTA。它们是：主干架构（越大越好）、预训练类型（元训练 vs 多类）、基类的数量和多样性（越多越好），以及使用辅助自监督任务（一个增加多样性的代理）。在本文中，我们提出了 TAFSSL，这是一种简单的技术，用于在一些额外的未标记数据伴随小样本任务的情况下提高小样本性能。TAFSSL 建立在减少由预训练期间未见的新类组成的少样本任务所固有的特征和采样噪声的直觉之上。具体来说，我们表明，在具有挑战性的 miniImageNet 和 tieredImageNet 基准上，TAFSSL 可以将当前最先进的直推式和半监督 FSL 设置提高 5% 以上，同时增加在 FSL 中使用未标记数据的好处性能提升 10% 以上。

---

动机

对给定任务的主干特征空间的轻微调整，对支持集或其他技术使用少量的微调迭代，可能不足以弥补 FSL 主干引入的泛化差距。直观地说，我们可以将其部分归因于许多特征空间维度（特征向量条目）对于测试小样本任务中给定的一组新类变得“无用”。也就是说，在基类上训练好特征提取器后，可用于提取样本特征。虽然特征提取器在基类上提取的特征较好，但在新类上由于分布不同，太多的特征会变的无用。因此，需要对样本特征进行降维。

---

方法

聚类

在应用基于 PCA 或 ICA 的 TAFSSL 后，特征噪声水平通常会显着降低，使得原始特征空间 F 的任务适应特征子空间  对聚类更有效。我们提出了两种基于聚类的算法，贝叶斯 K-Means (BKM) 和 Mean-Shift Propagation (MSP)。

BKM 是一种软 k-means变体，伴随着贝叶斯推理，用于计算查询的类概率。在 BKM 中，为整个（标记 + 未标记）任务 T 数据集获得的每个 k-means 聚类被视为具有每个类的模式的高斯混合分布。BKM 直接计算每个查询 q ∈ Q 的类概率，方法是使用权重平均每个混合中的 q 的后验，权重是 q 属于每个集群的概率。

MSP 是一种基于均值偏移 的方法，用于更新每个类的原型。在 MSP 中，我们在 T 的所有（标记和未标记）样本的分布内所取的类的原型 [47] 上执行许多类似均值漂移的迭代。在每次迭代中，对于每个原型 pi（属于 i 类），我们在一定的置信半径内计算一组 K 个最置信的样本，并使用该集合的平均值作为下一个原型（属于 i 类）。K 本身在类之间是平衡的。MSP 的细节总结在算法 2 框中。在 MSP 之后，更新的原型以标准的 NN 分类器方式用于获得类概率。

---

实验

下面介绍下直推式设置下的一些实验设置：

z_all 表示特征提取器提取的支持集和查询集样本特征

1 baseline

z_all减去基类所有样本的平均特征，然后进行L2正则化，然后对计算支持集类原型，计算查询样本属于每个类原型的概率。

2 trans-mean-sub(*)

z_all中的支持集和查询集分别计算和减去 S 和 Q 样本集的均值（为了更好地对齐它们的分布），然后进行L2正则化，然后对计算支持集类原型，计算查询样本属于每个类原型的概率。

3 PCA

对z_all进行trans-mean-sub(*)特征上的操作得到X，然后计算X的奇异值分解，得到V，将矩阵X和V 进行矩阵相乘，得到X的降维矩阵。然后计算查询样本的概率（计算方式同上）。

4 ICA

对z_all进行trans-mean-sub(*)特征上的操作得到X，然后对X使用FastICA进行ICA操作。然后计算查询样本的概率（计算方式同上）。

5 BKM

对z_all进行同（1）的特征操作，然后使用BKM进行聚类操作，得到查询集的概率。

6 MSP

对z_all进行同（1）的特征操作，然后使用MSP进行聚类操作，得到查询集的概率。