论文标题: Effective Continual Learning for Text Classifcation with Lightweight Snapshots
论文链接:https://ojs.aaai.org/index.php/AAAI/article/view/26206
代码:https://github.com/LorrinWWW/Snapshot
引用:Wang J, Dong D, Shou L, et al. Effective continual learning for text classification with lightweight snapshots[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(8): 10122-10130.
![05653059764078bdf98ba35a926d4224.png](https://i-blog.csdnimg.cn/blog_migrate/a449224adc429e56396770c90588476a.png)
导读
![4237286810f210d94c4855c3a9a7492a.png](https://i-blog.csdnimg.cn/blog_migrate/8dde44f6e72e40e5cf93bd97e6144a9f.png)
为了解决在持续学习中经常出现的“灾难性遗忘”现象,一种自然的补救方法是使用先前训练过的模型作为“老师”,通过规范当前模型的更新来防止遗忘。然而,这种方法需要存储所有过去的模型,在大型模型(如BERT)上占用大量空间,在实际应用中不切实际。
为了解决这个问题,我们提出了一种构建已见任务的快照(snapshot)的方法,其中关键知识被捕捉在轻量级的适配器中。在持续学习过程中,通过知识蒸馏将先前快照中的知识传输到当前模型,使当前模型能够在学习新任务的同时回顾先前学到的知识。我们还设计了表示重新校准来更好地处理类增量设置。在各种任务序列的实验证明,该方法有效地缓解了灾难性遗忘,并优于所有基线模型。
本文贡献
我们建议,在学习新任务时,通过学习以前任务的快照来减轻遗忘
我们建议使用轻量级适配器构建快照来捕获任务特定知识,并将空间需求减少到原始BERT的0.8%
<