[论文阅读] Maintaining Discrimination and Fairness in Class Incremental Learning

论文地址：https://openaccess.thecvf.com/content_CVPR_2020/html/Zhao_Maintaining_Discrimination_and_Fairness_in_Class_Incremental_Learning_CVPR_2020_paper.html
发表于：CVPR 20

Abstract

深度神经网络(DNNs)已被应用于类增量学习中，其目的是解决现实世界中常见的不断学习新类的问题。标准DNN的一个缺点是它们容易发生灾难性的遗忘。知识蒸馏(KD)是一种常用的技术来缓解这个问题。在本文中，我们证明了它确实可以帮助模型在旧的类别中输出更多的判别结果。然而，它不能缓解模型倾向于将对象分类到新类的问题，导致KD的积极作用被隐藏和限制。我们观察到，造成灾难性遗忘的一个重要因素是，在类增量学习中，最后一个全连接(FC)层的权重是高度倾斜的。在本文中，我们提出了一个简单而有效的解决方案，其动机是上述的观察，以解决灾难性遗忘。首先，我们利用KD来维持旧类中的判别性。然后，为了进一步保持旧类和新类之间的公平性，我们提出了权重对齐(Weight Aligning, WA)，在正常的训练过程后纠正FC层中有偏见的权重。与以前的工作不同，WA不需要任何额外的参数或事先的验证集，因为它利用了有偏见的权重本身提供的信息。我们在ImageNet-1000、ImageNet-100和CIFAR-100的不同设置下对提出的方法进行了评估。实验结果表明，所提出的方法可以有效地缓解灾难性遗忘，并明显优于最先进的方法。

Method

本文的动机和解法都谈不上新颖，依然是针对类增量学习中输出层(FC)倾向于预测新类的问题，提出添加一些模块进行纠偏。不同的是，本文的这一过程是"无监督"的，并不需要旧模型的统计信息或者额外的验证集之类的辅助。

本文的方法称为权重对齐(Weight Aligning, WA)。具体来说，是将新类权重向量的范数与旧类对齐。形式化地，记新旧类FC层的权重为：$$\mathbf{W}=\left({\mathbf{W}}_{\text{old }},{\mathbf{W}}_{new}\right)$$ $$\begin{array}{rl}{\mathbf{W}}_{\text{old }}& =\left({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_{C_{\text{old }}^b}\right)\in {\mathbb{R}}^{d\times C_{old}^b}\\ {\mathbf{W}}_{new}& =\left({\mathbf{w}}_{C_{old}^b+1},\cdots ,{\mathbf{w}}_{C_{old}^b+C^b}\right)\in {\mathbb{R}}^{d\times C^b}\end{array}$$ 则有相应的正则化形式如下：$$\begin{array}{rl}& {\mathrm{Norm}}_{\text{old }}=\left(\Vert {\mathbf{w}}_1\Vert ,\cdots ,\Vert {\mathbf{w}}_{C_{\text{old }}^b}\Vert \right)\\ & {\text{Norm}}_{new}=\left(\Vert {\mathbf{w}}_{C_{old}^b+1}\Vert ,\cdots ,\Vert {\mathbf{w}}_{C_{old}^b+C^b}\Vert \right)\end{array}$$ 进一步地，可以对新类的权重进行标准化，有：$$\begin{array}{c}{\hat{\mathbf{W}}}_{new}=\gamma \cdot {\mathbf{W}}_{new}\\ \gamma =\frac{\mathrm{Mean}\left({\text{ Norm }}_{\text{old }}\right)}{\mathrm{Mean}\left({\text{ Norm }}_{new}\right)}\end{array}$$ 接着回看网络输出的过程。可以简单拆分为$x$的特征被提取，然后再乘以分类头的全连接层进行分类，即：$$\mathbf{o}(\mathbf{x})=\left(\begin{array}{c}{\mathbf{O}}_{\text{old }}(\mathbf{x})\\ {\mathbf{O}}_{new}(\mathbf{x})\end{array}\right)=\left(\begin{array}{c}{\mathbf{W}}_{\text{old }}^T\varphi (\mathbf{x})\\ {\mathbf{W}}_{new}^T\varphi (\mathbf{x})\end{array}\right)$$ 由于上文我们对权重进行了对齐，则纠偏后的输出为：$$\begin{array}{rl}& {\mathbf{o}}_{\text{corrected }}(\mathbf{x})=\left(\begin{array}{c}{\mathbf{W}}_{\text{old }}^T\varphi (\mathbf{x})\\ {\hat{\mathbf{W}}}_{\text{new }}^T\varphi (\mathbf{x})\end{array}\right)\\ & =\left(\begin{array}{c}{\mathbf{W}}_{\text{old }}^T\varphi (\mathbf{x})\\ \gamma \cdot {\mathbf{W}}_{new}^T\varphi (\mathbf{x})\end{array}\right)=\left(\begin{array}{c}{\mathbf{o}}_{\text{old }}(\mathbf{x})\\ \gamma \cdot {\mathbf{o}}_{\text{new }}(\mathbf{x})\end{array}\right)\end{array}$$ 总的来说方法确实极其simple，但是由于代码似乎还没有开源，为此也尚不清楚以上操作具体如何实现。