Recent Advances of Continual Learning in Computer Vision: An Overview

---

前言

主要是关于该篇文献的部分翻译以及粗略地总结归纳，如果有不清楚的地方还请详细阅读原文。
原文链接: link

---

1、摘要

本文综述了计算机视觉中持续学习的最新进展。特别介绍了应用在一些计算机视觉领域的持续学习方法，其中包括正则化、知识蒸馏、记忆、生成重放、参数隔离以及上述技术的组合。针对每一类技术，分别介绍了其特点及其在计算机视觉中的应用。

在概述的最后，本文讨论了几个子领域，在这些子领域中，持续的知识积累可能会对该领域的研究有帮助，持续学习却还没有得到很好的研究。

2、引言

与人类学习不同传统的机器学习和深度学习通常需要区分知识训练和知识推理这两个过程，模型需要在有限的时间内在预先准备的数据集上完成训练，然后使用这些数据集进行推理过程。

随着数字图像和视频数量的剧增，开始催生出在计算机视觉领域中新的需求，那就是模型需要在推理过程中连续不断地学习和更新自己，因为重新训练一个模型以适应日益增长的数据是非常低效且费时的。

神经网络训练从其原始的批量学习模式到新的持续学习模式的转变是非常困难的，尤其主要包括两个问题：1.按顺序从多个类别中的数据学习容易导致灾难性遗忘（学习了新的知识之后，几乎彻底遗忘掉之前习得的内容。）这一问题，即模型参数在新的数据集中更新后，模型在对先前学习的类别的学习性能会急速下降。2.当按顺序学习同一类别的新数据中会导致概念漂移（目标变量的统计特性随着时间的推移以不可预见的方式变化的现象。）的问题，因为新数据可能会以意想不到的方式改变这一类别的数据分配。所以持续学习的总体目标就是解决稳定性-可塑性困境，这就要求神经网络保持学习新知识的能力的同时，避免遗忘已经习得的知识。

目前持续学习方法越来越多地应用到计算机视觉的子领域中。在此篇文章第一部分综合描述了近几年持续学习在计算机视觉领域中的进展，介绍了用于不同计算机视觉任务的各种持续学习技术，包括正则化、知识提取、基于记忆、生成重放和参数隔离，讨论了计算机视觉中持续学习可能有帮助但还未得到充分研究的领域。第二部分给出了持续学习的定义。第三部分介绍了这一领域常用的评估指标。四部分讨论了多种持续学习方法及其在计算机视觉领域的应用。第五部分讨论计算机视觉中没有很好利用持续学习的子领域。

3、持续学习：问题定义

Van de Ven and Tolias提出，持续学习可以更进一步分为三个场景：1.任务增量持续学习，2.领域增量持续学习，3.类增量持续学习。

任务增量学习要求在推理过程中给出任务ID。领域增量持续学习致力于区分每个任务内部中的不同类且在推理过程中不要求提供任务ID。类增量学习同时致力于却分任务中内部的类别和任务之间的类别，在推理过程中也不需要ID。

在这篇文章中，主要从技术的各个类别的角度关注持续方法，而不是在具体场景中的应用。

4、评价指标

平均准确率（Average accuracy），衡量学习方法在学习总数为q的任务后的性能表现的指标。

平均遗忘率（Average forgetting），衡量知识在学习前q-1个任务后所被遗忘的量度指标。

Intransigence（不妥协），相对于典型的批处理学习，持续学习阻碍了模型学习新任务的程度。

逆向迁移（Backward transfer），衡量持续学习在第q个任务上对之前已学习任务的表现的影响程度。

正向迁移（Forward transfer），衡量持续学习作用在第q个任务上可能会对将要执行任务的表现产生的影响。

5、持续学习方法

5.1 基于正则化的方法

通常会对各种模型参数和超参数的更新过程加以限制，使得在学习新任务的同时巩固之前学习的新知识，以此来减轻持续学习中的灾难性遗忘。基于正则化的方法最典型的方案是通过正则化损失函数来巩固学习过的知识。

5.2 基于知识蒸馏的方法

基于知识蒸馏的方法将知识蒸馏的思想融入到持续学习中，将知识从先前任务训练的模型中蒸馏到新的任务训练的模型中，以巩固先前所学的知识。

5.3 基于内存的方法

基于记忆的方法通常有一个内存缓冲区来存储与前一任务相关的数据实例和/或各种其他信息，这些信息在学习新任务的过程中被重放，以巩固之前学到的知识，减轻灾难性遗忘。

5.4 生成重放法

生成重放法已经被提出作为基于内存方法的替代方案，它用生成模块替换内存缓冲区，生成模块复制与前面任务相关的信息。

5.5 基于参数隔离方法

基于参数隔离方法通常是给不同任务赋予不同的模型参数，以此来防止最新任务干涉之前所学习的任务。

5.6 多类方法结合技术

为了提高持续学习的性能，部分工作提出了将两种或两种以上的方法结合的技术。如正则化和内存结合的方法的、结合知识提取和记忆的方法、基于知识蒸馏和生成重放结合的方法、基于存储和生成重放结合的方法、基于生成重放和参数隔离结合的方法及其它的结合方法。

5.7 其他方法

除了上述几种方法外，还存在一些用于持续学习的技术。

有一些通用框架可以与上述持续学习类别中的方法集成，以进一步提高它们的性能，如嵌入网络，婴儿启发的连续识别(CRIB)，冗余网络(ReduNet)等。

除图像分类外，还有一种基于持续学习的语音分割方法。在每个新任务的训练过程之前，存储包含已有知识的模型。在新任务的数据实例上训练新模型后，将一组未标记的数据实例输入到之前的模型和新模型中，生成它们的伪标签，然后由冲突减少模块融合这些伪标签，以获得它们最准确的伪标签。最后，使用未标记的数据实例及其对应的伪标签对联合模型进行再训练，以保持先前学习的知识。

6、讨论

首先，现有的持续学习方法都集中在图像分类问题上，但由于不同的计算机视觉问题具有不同的特征，简单地对图像分类方法进行适应性调整可能无法在其他计算机视觉问题中取得令人满意的性能。在图像分类中无效的想法可能在其他计算机视觉任务中有效。例如，在类比推理中，Hayes和Kanan等人的研究表明，与随机记忆提取相比，选择性记忆提取可以有效缓解灾难性遗忘。然而，选择性记忆检索在图像分类中效果较差。因此，除了图像分类外，计算机视觉中的持续学习问题也值得进一步研究。

然后，尽管S. C. Hung等人将持续学习应用到多问题学习中，但几乎所有持续学习都集中于开发针对问题的持续学习算法，人脸识别、人脸识别、人脸防欺骗等不同的计算机视觉问题之间可以共享知识，如何在多问题学习环境中不断学习这种共享信息是值得探索的。

其次，现有的持续学习方法大都集中在全监督问题上，不同任务之间没有类的重叠，但在真实场景中，数据更有可能是没有标注的，而且彼此之间有共同的类。因此在无监督学习方面，少样本学习或是任务无严格界限学习等方面，持续学习方法还有比较大的探索空间。

最后，考虑到连续学习在轻量化设备上的应用，探索轻量化连续学习方法也很重要。