结合知识蒸馏的增量学习方法总结

结合知识蒸馏的增量学习方法总结

知识蒸馏（Knowledge Distillation）最早是在Hinton的《Distilling the Knowledge in a Neural Network》一文中提出，运用在图像分类任务上，并迅速在其他领域广泛应用开来。

知识蒸馏通过引入教师网络（Teacher network：复杂度高、但推理性能优越）以指导学生网络（Student network：复杂度低、简单）的训练，实现知识迁移（Knowledge transfer）。知识蒸馏具体的介绍及发展不在这赘述。

增量学习的概念，是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。就像我们从小开始学习新东西，但是也能记住之前学习到的知识。

期望的增量学习系统应该有这样四个特点：

1. 可以学习到新信息中的有用信息；
2. 不需要访问已经用于训练分类器的原始数据；
3. 对已经学习到的知识具有记忆功能；
4. 在面对新数据中包含的新类别时，可以有效地进行处理。

但是机器学习、深度学习这些神经网络有个很严重的问题是，只会去拟合当前数据集的分布，如果在新的数据集上再训练，就会产生灾难性遗忘，学了新的忘了旧的。

本文总结了4篇用到知识蒸馏思想来做增量学习的代表性论文，也是增量学习领域内的重要论文

1.《Learning without Forgetting》（ECCV 2016）