李宏毅机器学习36——life long learning

这节课学习了life long learning，life long learning意为终身学习，意思是通过一个神经网络来进行多个task的训练。

LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。

1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现。在这个过程中，引入了一个值来表示参数的重要程度，例子中，参数重要程度b取的是参数的二次微分。

2是GEM（gradient episodic memory），GEM的方法是在训练时同时考虑之前task的梯度下降方向，使得每次新的task梯度下降时，之前的效果也不会太差。

最后简单讲了一些life long learning模型的评估方法。

目录

一、什么是Life long learning

二、解决方法

1.EWC

2.GEM

三、衡量life long learning的模型：

总结：

---

一、什么是Life long learning