通过Self-Purified Replay的回放方法在噪声数据流上进行持续学习

论文标题： Continual Learning on Noisy Data Streams via Self-Purified Replay

论文链接：https://openaccess.thecvf.com/content/ICCV2021/html/Kim_Continual_Learning_on_Noisy_Data_Streams_via_Self-Purified_Replay_ICCV_2021_paper.html

代码：https://github.com/ecrireme/SPR

引用：Kim C D, Jeong J, Moon S, et al. Continual learning on noisy data streams via self-purified replay[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 537-547.

导读

在真实世界中进行持续学习必须克服许多挑战，其中标签带噪是一个常见且不可避免的问题。在这项工作中，我们提出了一个基于重放的持续学习框架，同时解决灾难性遗忘和噪声标签的问题。

我们的解决方案基于两个观察结果：(i) 即使通过自监督学习，使用噪声标签也可以减轻遗忘，并且（ii）重放缓冲区的纯度是至关重要的。基于此，我们提出了我们方法的两个关键组成部分： (i) 一种名为自重放的自监督重放技术，它可以规避由噪声标记数据产生的错误训练信号；（ii）一个自中心的滤波器，通过基于中心的随机图集合来维护干净的重放缓冲器。

在MNIST、CIFAR-10、CIFAR-100和WebVision上的实证结果表明，我们的框架可以在噪声流数据中保持高纯度的重放缓冲区，同时大大优于最先进的持续学习和噪声标签学习方法的组合。

本文贡献

• 据我们所知，这是第一个处理噪声标签的持续学习的工作。我们发现噪声标签会加剧灾难性遗忘，并且在将它们存储在重放缓冲区之前，从输入数据流中滤除这种噪声是至关重要的。

• 我们引入了一种名为Self-Purified Replay (SPR)的新型基于重放的框架，用于处理带有噪声标签的持续学习。SPR不仅能够保持干净的重放缓冲区，还能够在固定参数大小的情况下有效缓解灾难性遗忘。