本文探讨了终身学习（Life Long Learning）在神经网络中的挑战和解决方案，包括EWC、GEM策略以及数据生成方法。EWC通过考虑权重对损失的二阶偏导数来防止遗忘，GEM寻找兼顾多个任务效果的梯度方向，而数据生成则有助于复现先前任务数据，减少遗忘现象。此外，提出了评估终身学习模型效果的两个关键指标：backward transfer和forward transfer。
life long learning 是指这个NN在不断地学习，之前可能只能解决task1，但是经过再次学习，它还能解决task2；再学习，还能解决task3…
life long learning需要解决的问题是knowledge retention（but not intransigence）
什么意思呢？就是说这个NN不仅要做到保留原来的知识，还要能接受新的知识。
从上图可以看出，当只学习了task1的数据时，NN在task1上的准确率是90%，在task2上的正确率是96%；当这个NN继续学习task2的数据集后，在task1上的正确率下降到了80%，在task2上的正确率上升到了97%。在task2上的性能有所提升，说明NN确实能学到新知识，但是在task1上的性能下降，说明它遗忘了一些过去的知识，这是我们不希望看到的。
如何解决上述遗忘问题呢？
1.EWC
最低0.47元/天 解锁文章
716
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
