一篇2018年的论文:End-to-End Incremental Learning。为了使模型实现增量学习,把新、旧数据一起重新训练会导致时间、存储成本等一系列问题。作者提出的方法仅使用新数据与部分代表性的旧数据。基于Distillation知识蒸馏从旧数据中提取代表性样本、Cross entropy交叉熵学习新数据。题目的End-to-End指的是能同时训练更新Classification分类器和代表性样本。
作者认为,一个拥有增量学习能力的深度神经网络模型应该拥有以下特征:
-
Ability to being trained from a flow of data, with classes appearing in any order, and at any time。能在任意时刻,对数据流中任意顺序的数据进行学习。
-
Good performance on classifying old and new classes。优秀的分类性能。
-
Reasonable number of parameters and memory requirements for the model。模型参数及内存大小合理。
-
End-to-End learning mechanism to update the classifier and the feature representation jointly。对模型中分类器和代表性样本同步更新。
因此,作者提出了如下增量学习架构,任意深度学习模型都可以套用这个框架(仅需修改损失函数),实现有效的增量学习: