CVPR2021论文详解Rainbow Memory: Continual Learning with a Memory of Diverse Samples

论文地址：

https://arxiv.org/abs/2103.17230

代码地址：

https://github.com/clovaai/rainbow-memory

目录

1.贡献点

2.方法

2.1问题定义

2.2 uncertainty衡量标准

2.3算法流程

2.4 数据增强

3.实验

4.结论

---

本文基于样本回放的方法，本文某种意义上借鉴了主动学习中找难样本的方法，将找到的难样本作为Memory中用于回放的样本。

本文的意义在于如何寻找难样本。

1.贡献点

因为本文涉及memory，因此可以看作基于样本回放的增量学习方法。本文解决的问题是，如何选取更好的样本来放置在Memory之中。

基于增量学习的任务，旧任务和新任务之间界限分明。但是实际上很多时候旧任务和新任务的边界并不清晰，因此本文基于‘blurry’的task boundary来优化问题。（这里的blurry在后面又详细的定义，意思是不同的增量task之间是否有共有类，其实相当于广义的类别增量问题。）

为了让memory中的样本保持多样性，本文提出了Rainbow Memory(RM),

 

随时根据新样本更新Episodic Memory，然后根据Mmory进行DA(Data augmentation)来进行多样化。

2.方法

2.1问题定义

• C表示所有的类别，
• Tt表示task t之中的类别，相当于C的子集
• D上标C下标c表示所有类别C中子类c的样本
• D上标T下标t表示task t中类别c的样本