ICCV 2023|通过慢学习和分类器对齐在预训练模型上进行持续学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

作者介绍

张耕维

悉尼科技大学在读博士生，研究方向为持续学习

报告题目

通过慢学习和分类器对齐在预训练模型上进行持续学习

内容简介

持续学习研究的目标在于提高模型利用顺序到达的数据进行学习的能力。尽管大多数现有工作都是建立在从头开始学习的前提下的，越来越多的努力致力于融入预训练的好处。然而，如何让每个增量任务自适应地利用预训练知识，同时保持预训练提供的泛化性仍然是一个悬而未决的问题。在这项工作中，我们对预训练模型上的持续学习（CLPM）进行了广泛的分析，并将关键挑战归因于渐进式过拟合问题。观察到选择性地降低学习率几乎可以解决该问题对表示层的影响，我们提出了一种简单但极其有效的方法，称为带有分类器对齐的慢速学习器（SLCA），该方法通过对类分布进行建模并对齐来进一步改进分类层。在各种场景中，我们的方法为CLPM提供了实质性改进（例如，在Split CIFAR-100、Split ImageNet-R、Split CUB-200和Split Cars-196上分别提高了49.76%、50.05%、44.69%和40.16%），因此显著优于最先进的方法。基于这样一个强有力的基线，我们深入分析了关键因素和有希望的方向，以促进后续研究。

论文链接：https://arxiv.org/pdf/2303.05118.pdf

代码链接：https://github.com/GengDavid/SLCA

01

Background

持续学习表现为在顺序到来的数据上学习，增量式地更新模型。但是，神经网络自身的设计导致它进行持续学习时存在一个挑战，名为“灾难性遗忘问题”，这体现为模型在学习新的任务时，由于没有原来任务的数据，导致模型在旧任务上的性能显著下降。

当前主流的针对这个问题的解决方法有三类。Regularization，在网络参数更新的时候增加限制，使得网络在学习新任务的时候不影响之前的知识。Replay，在