灾难性遗忘_[PNAS 2017] 克服神经网络中的灾难性遗忘

基本信息

名称：Overcoming catastrophic forgetting in neural networks

作者：James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell

单位：DeepMind, Imperial College London

期刊：PNAS 2017

读这篇文章主要是为了了解EWC这种算法。

摘要和简介

提出了一种称为elastic weight consolidation(EWC)的算法，用以解决持续学习中的遗忘问题。这一算法会根据权重对之前学习任务的重要程度减慢对它们的学习速度。

相关工作

拉普拉斯近似(Laplace Approximation)

拉普拉斯近似是一种用于估计函数积分值的方法，它适用于峰值集中在小范围内的长尾函数，如下图所示：

拉普拉斯近似的主要思路是用一个高斯分布来近似一个单峰函数。通过将函数在最大值点

进行泰勒展开(数学略……)，可以推导出相应的表达式。

拉普拉斯近似可以用来估计贝叶斯模型的后验。令

表示数据，