本文分析了在序列学习任务中，新任务如何导致对已学习任务的灾难性遗忘，发现遗忘与任务之间的语义相似度有关。通过实验，作者揭示了在某些情况下，语义接近的任务遗忘较少，而在其他情况下，不相似的任务遗忘更少。此外，研究还提出了一个分析模型，探讨了遗忘如何随任务相似性的变化而变化。
、
2020.6 arxiv，一篇分析序列学习任务中，新学习分类，对已学习分类的灾难性遗忘影响的文章。结论还是有些意思的，类别之间并非等价，已学习的表示对后续遗忘也会产生影响。
1.Introduction
模型在non-stationary的数据分布上学习时，在旧数据上，有性能损失。除continual learning外，灾难性遗忘于多任务学习和标准监督学习中，面对分布偏移和数据增强时也存在。
现有的很多方法都只在特定的设定下有效，对灾难性遗忘本身还是缺乏理解。
本文贡献：
- 通过使用代表性相似度、层冻结、层重置实验，探究遗忘如何影响网络的隐含表示。深层(靠近输出)是遗忘的主要来源。
- 使用层级标签结构的CIFAR-100实验。
- 测试了两个减缓遗忘的流行方法：replay buffers、EWC。他们都稳固了深层表示。
- 遗忘与任务相似性有关
- 用一个分析框架形式化了语义相似度对遗忘的影响。对于中等相似的任务，遗忘最严重。
2.Related Work
大多数研究集中于减缓遗忘的方法，隐式或显式地划分参数完成不同任务，正则化或贝叶斯方法。
本文重点分析隐表示如何导致遗忘。以前的分析关注任务序列和网络结构，或者使用premuted-MNIST的评价指标，但这很可能导致提出的方法只对特定设定有效。
3.Datasets and Tasks for Catastrophic Forgetting
Sp
最低0.47元/天 解锁文章
899
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
