文章目录
题目:2019_Three scenarios for continual learning
1. 论文的总体介绍
论文链接:https://arxiv.org/abs/1904.07734
代码链接:https://github.com/GMvandeVen/continual-learning
论文的动机:针对当前 CL(continual learning) 领域,因为不同的人提出了不同的解决方案,这些方法都不是在同一个benchmark 下进行比较的,无法公平地比较各种方法的优劣,所以作者提出了一种新的 benchmark 用于评估 CL 方案的性能。
论文的方案:这个 benchmark 包含三种场景,每种场景包含两种任务协议(protocols)。
这三种场景可以组成任意复杂的任务。
这三个场景是通过定义两个判断点(是否提供任务 id 和 是否需要推断任务 id )来确定的:
1.测试时,如果提供任务id,就定义为场景1.
2.测试时,如果不提供任务id,且不需要推断出任务id,就定义为场景2.
3.测试时,如果不提供任务id,且需要推断出任务id,就定义为场景3.
两种任务协议(protocols):
1. split task protocols。
2. permuted task protocols。
论文的贡献:
- 提出了一个 benchmark 。
- 在这个 benchmark 下,对比了几个 CL 方案。
论文的结论:在场景3中, 基于正则化方法(regularization-based approaches)的效果不好,基于数据经验重放方法(replay-based approaches)的效果较好。