TPAMI 2024|用于持续学习的基于广义差异的分布稳健记忆演化

Distributionally Robust Memory Evolution With Generalized Divergence for Continual Learning

用于持续学习的基于广义差异的分布稳健记忆演化

Zhenyi Wang o, Li Shen , Tiehang Duan , Qiuling Suo o, Le Fang , Wei Liu ，Mingchen Gao

---

摘要

持续学习（Continual Learning, CL）的目标是在非静态数据分布上学习，同时不忘记先前的知识。现有依赖于记忆重放的方法，随着模型趋于过度拟合存储的示例，其有效性会随时间降低。结果，模型泛化能力受到显著限制。此外，这些方法经常忽视记忆数据分布的固有不确定性，这与之前所有数据示例的分布有显著差异。为了克服这些问题，我们提出了一个原则性的记忆演化框架，通过分布式鲁棒优化（Distributionally Robust Optimization, DRO）动态调整记忆数据分布，使记忆缓冲区越来越难以记忆。我们考虑了DRO中的两种约束：f-散度和Wasserste