life long learning 是指这个NN在不断地学习,之前可能只能解决task1,但是经过再次学习,它还能解决task2;再学习,还能解决task3…
life long learning需要解决的问题是knowledge retention(but not intransigence)
什么意思呢?就是说这个NN不仅要做到保留原来的知识,还要能接受新的知识。
从上图可以看出,当只学习了task1的数据时,NN在task1上的准确率是90%,在task2上的正确率是96%;当这个NN继续学习task2的数据集后,在task1上的正确率下降到了80%,在task2上的正确率上升到了97%。在task2上的性能有所提升,说明NN确实能学到新知识,但是在task1上的性能下降,说明它遗忘了一些过去的知识,这是我们不希望看到的。
如何解决上述遗忘问题呢?
1.EWC