用于类别增量学习的动态可扩展表征 -- DER

用于类别增量学习的动态可扩展表征 – DER

这次介绍一种类似表征学习的训练方法，用于类别的增量学习，来自于CVPR2021的一篇文章"DER: Dynamically Expandable Representation for Class Incremental Learning"。

首先，我们需要补充一些预先的概念，比如类别增量学习以及表征学习。

类别增量学习

传统的分类学习中，我们通常在训练的时候就有全部的类别，测试的时候也是对全部的类别的数据进行测试。

在现实世界中，我们往往不会在一开始就定义完所有的类别，并且收集对应的所有数据，实际情况是，我们通常拥有一部分类别的数据，然后先训练一个分类器，等到有新的类别，再对网络结构等做出调整，重新进行数据收集、训练和测试。

表征学习/度量学习

表征学习（Representation Learning），抑或是度量学习（Metric Learning），其目的是，学习到数据的一种表征（通常是一个向量的形式），使得同类的表征距离近，异类的表征距离远，这里的距离可以是欧几里得距离等。

在做类别增量学习的时候，我们往往可以复用先前训练好的表征提取器，在新的数据上进行调优（fine-tune）。

这里，文章将表征学习划分成3类：

• 基于正则化的方法
• 基于蒸馏的方法
• 基于结构的方法

基于正则化的方法一般都会有一个较强的假设，其主要是根据估计的方法，对参数进行微调。

基于蒸馏的方法则是会依赖于所使用的数据的数量和质量。

基于结构的方法，会引入额外的新的参数进来，用来对新类别的数据进行建模。

上述这个分类其实不够充分，如果利用传统的度量学习学习一个“前端”，用来抽取特征，然后对后端分类器微调也是一种方法，但这篇文章似乎没有讨论这种方法。

基本流程

如上图所示，其实就是一个特征拼接的过程，首先，我们利用一部分类别的数据进行训练，得到一个特征抽取器 ${\Phi }_{t-1}$，对于一个新的特征${\mathcal{F}}_t$ , 给定一张图片 $x\in {\tilde{\mathcal{D}}}_t$ , 拼接后的特征可以表示为：
$$u={\Phi }_t(x)=[{\Phi }_{t-1}(x),{\mathcal{F}}_t(x)]$$
然后该特征会输入到一个分类器${\mathcal{H}}_t$上, 输出为:
$$p_{{\mathcal{H}}_t}(y|x)=Softmax({\mathcal{H}}_t(u))$$
预测结果为:
$$\hat{y}=\arg \max p_{{\mathcal{H}}_t}(y|x)$$
所以，基础的训练误差为简单的交叉熵误差：
$${\mathcal{L}}_{{\mathcal{H}}_t}=-\frac{1}{|{\tilde{\mathcal{D}}}_t|}\sum _{i=1}^{|{\tilde{\mathcal{D}}}_t|}\log (p_{{\mathcal{H}}_t}(y=y_i|x_i))$$
我们将分类器 ${\mathcal{H}}_t$ 替换为对于新类别特征的分类器 ${\mathcal{H}}_a$ , 可以得到一个针对新类别特征的误差 ${\mathcal{L}}_{{\mathcal{H}}_a}$

融合的误差形式为；
$${\mathcal{L}}_{ER}={\mathcal{L}}_{{\mathcal{H}}_t}+{\lambda }_a{\mathcal{L}}_{{\mathcal{H}}_a}$$
为了降低类别增量带来的参数增量，这里引入了一种Mask机制，即学习一个Mask，对通道进行Mask，用一个变量 $e_l$ 进行控制。
$$\begin{gathered} f_l^{\prime }=f_l\odot m_l \\ {m}_l=\sigma (s{e}_l) \end{gathered}$$
其中 $\sigma (\cdot )$ 表示sigmoid激活函数，$s$ 是一个缩放系数。

引入一个稀疏性误差，用来鼓励模型去尽可能地压缩参数，Mask掉更多的通道：
$${\mathcal{L}}_S=\frac{{\sum }_{l=1}^L{K}_l||m_{l-1}|{|}_1||m_l|{|}_1}{{\sum }_{l=1}^L{K}_l{c}_{l-1}{c}_l}$$
其中，$L$ 是层的数量，$K_l$ 是第 $l$ 层卷积的Kernel Size。

最终，得到一个综合的误差表达式：
$${\mathcal{L}}_{DER}={\mathcal{L}}_{{\mathcal{H}}_t}+{\lambda }_a{\mathcal{L}}_{{\mathcal{H}}_t^a}+{\lambda }_s{\mathcal{L}}_S$$

实验分析

首先是数据集的设置，采用的是三个数据集：

• CIFAR-100
• ImageNet-1000
• Imagenet-100

对于CIFAR-100的100类，会根据5，10，20，50个增量过程来进行训练。这里，对于5个增量过程，也就是每一次会增加20类新的类别数据。这样的数据集分割方法记作CIFAR100-B0。

另外的一种增量方式是，先在50类上进行训练，然后剩下的50类，根据2、5、10个增量过程进行训练。记作CIFAR100-B50。

我们这里仅给出CIFAR-100数据集的结果，更为详细的，可以查看该论文。

如上图所示，该方法最终的平均正确率超过了其他增量学习的方法。需要注意的是，当使用Mask机制是，也就是利用Mask的结果对参数进行裁剪，得到的模型在参数量上降低的很多，正确率仍然能够保持。