论文阅读：IL2M: Class Incremental Learning With Dual Memory

IL2M: Class Incremental Learning With Dual Memory

1.总览

本文还是用于解决类增量学习的，学习过程是普通的微调（区别于用蒸馏损失的方法），区别在于加入了两个记忆：

• 一个记忆样本(exemplar)，用于训练过程微调，容量固定(类越多，每类样本量越小)；
• 一个记忆新类微调后的统计量(statistics)，用于预测时修正原始分类输出，(只是几个浮点数，很小)。

由于记忆的加入，类增量学习问题，实际变成了不均衡数据集学习。作者在这里有几个有趣的发现：

• 在允许记忆样本时，蒸馏损失实际会降低模型性能；
• 模型预测时，新类的原始输出会明显较大。原因是样本不均衡。

性能在2019年比SOTA更好。

2.相关工作

这里作者把类增量学习的方法分为三类：

1.调整/增加参数以适应新类：

• Growing a Brain：增宽增深网络
• Deep Adaptation Networks：每个新类增加13%左右参数量
• Progressive neural networks：简单粗暴
• Committee of expert networks：门机制，选择最合适的专家
• 神经网络参数族，共享大多数参