这节课学习了life long learning,life long learning意为终身学习,意思是通过一个神经网络来进行多个task的训练。
LLL面临的主要问题就是经过多个task之后,神经网络对于早期训练的效果就会很差,这可以理解为会遗忘掉过去的事。为了处理这个问题,主要学习了两种方法。
1是EWC(Elastic weight consolidation),ewc的想法是保留之前task训练过程中重要的参数,去更改不太重要的参数,使得经过多个task训练后,对早期的task仍然有不错的表现。在这个过程中,引入了一个值来表示参数的重要程度,例子中,参数重要程度b取的是参数的二次微分。
2是GEM(gradient episodic memory),GEM的方法是在训练时同时考虑之前task的梯度下降方向,使得每次新的task梯度下降时,之前的效果也不会太差。
最后简单讲了一些life long learning模型的评估方法。
目录
一、什么是Life long learning
Life long learning意思是终身学习,是指一直使用同一个神经网络去学习不同的任务。
实现life long learning大致分为三方面:knowledge retention,knowledge transfer,model expansion。
knowledge retention是指让机器保留之前学到的内容,而且还要学会变通。
例如:
给机器两个相近的task,当机器学习过task1之后,它对task2也会产生不错的结果。
在上面的nn基础上,继续训练task2,这时,tas