iCaRL: Incremental Classifier and Representation Learning

增量分类与表示学习

摘要

只有一小部分类别的训练数据需要同时展示，新的类别能够逐步增加。可以同时学习强的分类器与数据表示。这与前人的工作区别是，前人受限于固定的数据表示，因此无法与深度学习结构相比较。

 

1 Introduction

类别增加的三个属性：

1数据流可训练，不同的时间出现不同的类别；

2任意时间能够提供一个可比较的多分类器对于当前能够观察到的类别；

3计算需求与内存空间保持在一定范围内，至少增加很缓慢，至少对于目前看到的类别数量.

本文提出的三点：

1根据最近均值样例规则分类；

2基于放牧的最优例子选择；

3使用知识蒸馏和样板复述的方式表示学习。

2 方法

2.1 类别增量分类器学习

分类器。样例图像的总数不超过参数K

训练。

结构。我们阐述这个网络有一个可训练的特征提取，跟随一个单独的分类层，目前观测到的类别与sigmoid输出节点数相等。

资源使用。内存需求量是特征提取参数的大小。

2.2 最近均值样例分类

背景。

2.3 表示学习

首先建立增量训练集包括当前可用的训练例子，与存储的样例。

接下来，当前的网络用每一个例子评估，对之前例子的网络输出结果进行存储，不包括新的类别，因为目前网络还没有针对新类别进行训练。

最后，网络参数通过最小化损失函数进行更新，对于每一个新的图像激励网络输出正确的类别指示符，对新的类别（分类损失）和以前的类别，以重现在前一步骤中存储的分数（蒸馏损失）。

背景。

2.4样例管理

两种路径，一种是选择新类别的样例，一种是减少之前类别样例集的尺寸。样例选择步骤中，样例依次选择和存储直到达到目标数字m。在每次迭代中，从当前训练集中再选一个加入到样例集中，即这个样例使得均值特征向量对所有样例更好的近似于均值特征向量对所有训练例子。这样，这个样例集就是最优列表。列表前面的样例更重要。根据数据限制从列表中依次减少不重要的样例。

背景

总之，iCaRL步骤对于样例选择和减少符合增量学习的设定，对于每一个类别，选择步骤只需要运行一次，当它首次不观察到，并且它的训练数据是有效的。之后，只调用减少步骤，不再需要与更前的训练数据接触。

3 related work

固定数据表示学习。设计一个分类架构，在任意时间适合新的类别在训练过程中不需使用到所有的训练数据。NCM最近类别均值分类器。虽然简单，但是比标准参数分类更加鲁棒。缺点是，非线性数据表示应该与分类器同时学习，NCM不能简单的扩展到这种情景，因为这阻止了类别均值向量以增量的方式学习。ICaRL 也是基于原型的分类，但是，使用的原型不是所有例子的均值特征向量，而是在特定选择的子集上，这使得我们保存小的内存空间，在常数计算的代价下，展现所有必要的更新。

替代的方法填充了类别增量学习的标准。可以使小数量的数据对于所有类别重新训练避免准确度降低。Zero-shot可以分类之前没出现过的类别，但是不包括对他们的训练步骤。

表示学习。不仅仅学习分类器，还有合适的数据表示。目前的结构和算法不能阻止灾难性的遗忘。两种方法主要是冰冻一些网络参数，或复述训练。当前主要是冰冻增长的策略，会带来参数的增加。有树结构模型和水平扩展所有层的网络。

iCaRL使用复述的方式，训练数据包括新类别和早期的类别。使用蒸馏阻止网络中信息恶化严重。蒸馏提出并用在多个方面。与多物体识别数据集相比，类别增长多类情景学习在于预测的步骤，用一个分类器对所有观测到的类别完成分类。多任务学习可以使用多个分类器，每一个分类器可以只在它自己的数据集上评估数据。

4 实验

基准协议。

iCaRLimplementation.

4.1 实验结果

4.2差异分析

5 结论