【AAAI2023】文本分类：基于轻量级快照的高效持续学习方法

最新推荐文章于 2024-09-18 23:49:43 发布

woshicver

最新推荐文章于 2024-09-18 23:49:43 发布

阅读量1.2k

点赞数 22

文章标签：分类学习方法数据挖掘人工智能机器学习

本文链接：https://blog.csdn.net/woshicver/article/details/135965391

版权

为解决持续学习中的‘灾难性遗忘’，论文提出使用轻量级快照捕获任务关键知识，通过知识蒸馏防止遗忘。适配器构建的快照减少了存储需求，表示重新校准有助于处理类增量场景。实验证明，该方法在多种任务序列中有效缓解遗忘，优于基线模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文标题： Effective Continual Learning for Text Classifcation with Lightweight Snapshots

论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/26206

代码：https://github.com/LorrinWWW/Snapshot

引用：Wang J, Dong D, Shou L, et al. Effective continual learning for text classification with lightweight snapshots[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(8): 10122-10130.

导读

为了解决在持续学习中经常出现的“灾难性遗忘”现象，一种自然的补救方法是使用先前训练过的模型作为“老师”，通过规范当前模型的更新来防止遗忘。然而，这种方法需要存储所有过去的模型，在大型模型（如BERT）上占用大量空间，在实际应用中不切实际。

为了解决这个问题，我们提出了一种构建已见任务的快照（snapshot）的方法，其中关键知识被捕捉在轻量级的适配器中。在持续学习过程中，通过知识蒸馏将先前快照中的知识传输到当前模型，使当前模型能够在学习新任务的同时回顾先前学到的知识。我们还设计了表示重新校准来更好地处理类增量设置。在各种任务序列的实验证明，该方法有效地缓解了灾难性遗忘，并优于所有基线模型。