【论文阅读】Three scenarios for continual learning

本文介绍了一篇2019年的论文,旨在为持续学习(continual learning,CL)领域建立一个公平的评估基准。该基准包括三个场景,每个场景下有split和permuted任务协议。实验在MNIST数据集上进行,展示了在不同场景下,正则化方法和基于重放数据的方法在CL性能上的差异。
摘要由CSDN通过智能技术生成

题目:2019_Three scenarios for continual learning

1. 论文的总体介绍

论文链接https://arxiv.org/abs/1904.07734

代码链接https://github.com/GMvandeVen/continual-learning

论文的动机:针对当前 CL(continual learning) 领域,因为不同的人提出了不同的解决方案,这些方法都不是在同一个benchmark 下进行比较的,无法公平地比较各种方法的优劣,所以作者提出了一种新的 benchmark 用于评估 CL 方案的性能。

论文的方案:这个 benchmark 包含三种场景,每种场景包含两种任务协议(protocols)。

这三种场景可以组成任意复杂的任务。

这三个场景是通过定义两个判断点(是否提供任务 id 和 是否需要推断任务 id )来确定的:
1.测试时,如果提供任务id,就定义为场景1.
2.测试时,如果不提供任务id,且不需要推断出任务id,就定义为场景2. 
3.测试时,如果不提供任务id,且需要推断出任务id,就定义为场景3.

两种任务协议(protocols):
1. split task protocols。
2. permuted task protocols。

论文的贡献

  1. 提出了一个 benchmark 。
  2. 在这个 benchmark 下,对比了几个 CL 方案。

论文的结论:在场景3中, 基于正则化方法(regularization-based approaches)的效果不好,基于数据经验重放方法(replay-based approaches)的效果较好。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值