深度学习笔记：灾难性遗忘

1 灾难性遗忘介绍

• 当神经网络被训练去学习新的任务时，它可能会完全忘记如何执行它以前学过的任务。
• 这种现象尤其在所谓的“连续学习”（continuous learning）或“增量学习”（incremental learning）场景中很常见

2 不同视角下看待灾难性遗忘 以及对应的解决方法

2.1 从梯度的视角

2.1.1 从梯度的视角看灾难性遗忘

• 我们有两个不同任务的损失曲面，用平滑的曲面训练完之后，再在坑坑洼洼的曲面上继续训练

• 在第二个任务上训练完之后，最优点沿着红色的箭头移动（向第二个任务平滑曲面的山峰移动），相当于向第一个任务（平滑曲面）的底部走了
  • ——>第一个任务的损失越来越高，效果越来越差，这就是灾难性遗忘

2.1.2 从梯度的视角解决灾难性遗忘（1）——找到联通路径

[1803.00885] Essentially No Barriers in Neural Network Energy Landscape (arxiv.org) 【ICML2018】中提到，神经网络