本文探讨了2018年论文《End-to-End Incremental Learning》中提出的增量学习方法，旨在解决深度神经网络在面对新数据时的训练成本问题。通过知识蒸馏和交叉熵损失函数，模型能有效学习新数据并保持对旧类别的识别能力。作者提出了两种存储方案，并通过实验对比其效果，确保模型避免旧知识的灾难性遗忘，同时保证新旧类别间的平衡。
一篇2018年的论文：End-to-End Incremental Learning。为了使模型实现增量学习，把新、旧数据一起重新训练会导致时间、存储成本等一系列问题。作者提出的方法仅使用新数据与部分代表性的旧数据。基于Distillation知识蒸馏从旧数据中提取代表性样本、Cross entropy交叉熵学习新数据。题目的End-to-End指的是能同时训练更新Classification分类器和代表性样本。
作者认为，一个拥有增量学习能力的深度神经网络模型应该拥有以下特征：
-
Ability to being trained from a flow of data, with classes appearing in any order, and at any time。能在任意时刻，对数据流中任意顺序的数据进行学习。
-
Good performance on classifying old and new classes。优秀的分类性能。
-
Reasonable number of parameters and memory requirements for the model。模型参数及内存大小合理。
-
End-to-End learning mechanism to update the classifier and the feature representation jointly。对模型中分类器和代表性样本同步更新。
因此，作者提出了如下增量学习架构，任意深度学习模型都可以套用这个框架（仅需修改损失函数），实现有效的增量学习：
最低0.47元/天 解锁文章
5723
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
