Raki的读paper小记：SUBSPACE REGULARIZERS FOR FEW-SHOT CLASS INCREMENTAL LEARNING

Abstract & Introduction & Related Work

• 研究任务
• 已有方法和相关工作
  1. Few-shot and incremental learning
  2. Learning class representations
  3. Learning with side information from language
• 面临挑战
• 创新思路
  这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息
• 实验结论

base分类器在大量数据集上训练，然后接受新增的少量数据集，最后模型在包含所有出现过的类别的测试集上衡量效果

这篇paper聚焦于极端样本，用基于正则化的方法来应对FSCIL，有和没有来自自然语言的侧面信息

1. 我们将新的分类器权重朝向基础分类器权重所跨越的子空间的最短方向正则化
2. 我们对新的分类器进行正则化处理，将它们拉向基础分类器的加权平均值，其中的权重是利用新的分类器和基础分类器名称或单句描述之间的标签/描述相似度来计算的
3. 我们学习单词标签和基础类的分类器权重之间的线性映射L。之后，我们将新标签white wolf投射出去，并将新的分类器权重 ${\eta }_{white\_wolf}$向投射的方向正则化
   
   利用语言数据作为关于类的背景知识的来源，我们描述了我们方法的一个变体，我们称之为语义子空间正则化，它将权重向量拉向基类的特定凸组合，以捕捉它们与现有类的语义相似度。这比简单的子空间正则化在多个任务中进一步提高了2%的准确性。这些结果表明，FSCIL和相关的问题可能不需要专门的机器来解决，简单的正则化方法可以解决由于获得基础类和新类的训练数据有限而产生的问题。简单的正则化方法可以解决由于基本类和新类的训练数据有限而导致的问题

APPROACH

方法包括两个步骤，在基类上共同训练特征提取器和分类层，在之后的环节中冻结特征提取器的参数，只用正则器来更新分类器

1. 稳定了基类的表示
2. 使新类的表示接近现有的类

FEATURE EXTRACTOR TRAINING

优化以下项，使其最大化

FINE-TUNING

给一个新增的数据集，定义新的权重向量 $\eta$ 然后优化下面这个公式

$R_{old}^t$ 限制了微调可以改变已经学习过的类别的参数的程度

$\eta$代表第t个环节中最终的标量，只用 $R_{old}$ 而将 $R_{new}$设置为0是一个非常有效的baseline，然而通过对新的参数进行适当的正则化处理，可以提高性能，如下文所述

我们在以前的环节中只取样1个例子，在以后的环节中重复使用同一个例子

METHOD 1: SUBSPACE REGULARIZATION

过去在其他多任务学习问题上的工作已经证明了约束相关任务的参数的有效性，使其相似（Jacob等人，2008），位于同一流形上（Agarwal等人，2010），甚至位于同一线性子空间（Argyriou等人，2007a）

此外，Schonfeld ¨等人（2019年）表明，所有类别的共享潜在特征空间对于类别递增分类是有用的。从少量的例子中独立学习到的新类的特征很可能捕捉到虚假的相关性（与预测问题的真实因果结构无关），这是数据集偏差的结果（Arjovsky等人，2019）

相比之下，我们期望大多数信息性语义特征在多个类别中共享：事实上，认知研究表明，在人类的早期视觉皮层中，不同物体的代表占据了一个共同的特征空间（Kriegeskorte等人，2008）因此，向基类权重向量所跨越的空间正则化，鼓励新的类表征依赖于语义而不是虚假的特征，并且所有任务的特征都位于同一个通用子空间中

我们通过一个简单的子空间正则化方法将这种直觉应用于FSCIL，给一个新增类别和基类参数，首先计算子空间目标 $m_c$，对于每一个类，${\eta }_c$和$m_c$的距离由以下公式计算

$m_c$由所跨空间 ${\eta }_c$ { η j ∈ C ( 0 ) } \{\eta_{j \in C^{(0)}} \} {ηj∈C(0)​} 的投影

QR分解…

以前利用子空间正则化进行多任务学习的工作假设所有任务的数据从一开始就可用（Argyriou等人，2007b；Agarwal等人，2010；Argyriou等人，2007a）。我们的子空间正则化方法消除了这些假设，使任务（在这种情况下，新的类）逐步到达，并对迄今为止看到的所有类进行累积预测，而不需要任何关于查询属于哪个任务的进一步信息。Agarwal等人（2010）与我们的研究类似，鼓励所有任务参数位于同一流形上；不同的是，他们交替学习流形和任务参数。与此相关的还有Simon等人（2020）和Devos & Grossglauser（2019）在一组子空间（在后者中是不相交的）上建立类表征模型，用于非增量的少量学习

METHOD 2: SEMANTIC SUBSPACE REGULARIZATION

公式

中的约束明确使用了关于基础类的几何信息，将新的权重拉向基础子空间。然而，它没有提供关于新类的权重在该子空间中的位置的信息。在大多数分类问题中，类的名称由自然语言的词或短语组成；这些名称通常包含与感兴趣的分类问题相关的大量信息。(即使没有见过白狼，一个典型的讲英语的人也能猜到白狼更可能像北极狐，而不是像潜水艇）。这类关系通常由类标签的嵌入（或更详细的类描述）来捕获

类别的语义信息考研用来构建一个改进子空间的正则器，通过鼓励新的类表征接近于由语义相似性加权的基础类的凸形组合来实现

将子空间的投射替换成语义目标 $l_c$， $e_c$ 代表 $c$ 类的语义 embedding

Schonfeld 也利用共享子空间上的标签信息进行少量的增量学习，他们将视觉和语义特征投射到一个共享的潜在空间，用于单次学习的预测。相比之下，我们重新使用基础视觉空间，为多个增量环节进行联合投射

以前在视觉和语言方面的一些研究也研究了直接学习从语义嵌入空间到类权重空间的映射的有效性，
这是第一次应用要FSCIL

EXPERIMENTS

CONCLUSIONS

我们描述了一系列基于正则化的方法，用于少量的类增量学习，在增量学习和一般的多任务和零次学习文献之间建立了联系。所提出的正则化方法非常简单–它们只涉及一个额外的超参数，不需要额外的训练步骤或模型参数，并且易于理解和实施。尽管如此简单，我们的方法使普通的分类架构在多个数据集和问题表述中，在具有双重挑战性的少量增量图像分类上取得最先进的结果

Remark

本文注重于few-shot，在持续的方面，是用每个类别保存一个样本，然后进行回忆，用了两种方法，分别利用子空间正则化和语义子空间正则化来使模型高效的学习少量样本，总之方法很novel，但是在大数据集上是否work还有待考究，可以借鉴它的思想