TPAMI 2025 | 重温基于正交梯度投影的持续学习中平坦度感知优化

论文信息

题目：Revisiting Flatness-aware Optimization in Continual Learning with Orthogonal Gradient Projection

重温基于正交梯度投影的持续学习中平坦度感知优化

作者：Enneng Yang, Li Shen, Zhenyi Wang, Shiwei Liu, Guibing Guo, Xingwei Wang, Dacheng Tao

论文创新点

markdown

1. 提出统一框架：论文将现有的基于正交梯度投影（OGP）的持续学习方法总结为一个包含“输入特征表示、投影空间构建和正交梯度投影”的统一框架，有助于更好地理解和分析这些方法。
2. 从损失景观平坦度视角重新审视：从损失景观平坦度的新视角重新审视基于OGP的持续学习方法，发现当提高新任务性能时，由于损失景观