【AAAI2023】文本分类：基于轻量级快照的高效持续学习方法

论文标题： Effective Continual Learning for Text Classifcation with Lightweight Snapshots

论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/26206

代码：https://github.com/LorrinWWW/Snapshot

引用：Wang J, Dong D, Shou L, et al. Effective continual learning for text classification with lightweight snapshots[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(8): 10122-10130.

导读

为了解决在持续学习中经常出现的“灾难性遗忘”现象，一种自然的补救方法是使用先前训练过的模型作为“老师”，通过规范当前模型的更新来防止遗忘。然而，这种方法需要存储所有过去的模型，在大型模型（如BERT）上占用大量空间，在实际应用中不切实际。

为了解决这个问题，我们提出了一种构建已见任务的快照（snapshot）的方法，其中关键知识被捕捉在轻量级的适配器中。在持续学习过程中，通过知识蒸馏将先前快照中的知识传输到当前模型，使当前模型能够在学习新任务的同时回顾先前学到的知识。我们还设计了表示重新校准来更好地处理类增量设置。在各种任务序列的实验证明，该方法有效地缓解了灾难性遗忘，并优于所有基线模型。

本文贡献

• 我们建议，在学习新任务时，通过学习以前任务的快照来减轻遗忘

• 我们建议使用轻量级适配器构建快照来捕获任务特定知识，并将空间需求减少到原始BERT的0.8%

  <