灾难性遗忘_[PNAS 2017] 克服神经网络中的灾难性遗忘

基本信息

名称：Overcoming catastrophic forgetting in neural networks

链接：https://arxiv.org/abs/1612.00796

作者：James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell

单位：DeepMind, Imperial College London

期刊：PNAS 2017

读这篇文章主要是为了了解EWC这种算法。

摘要和简介

提出了一种称为elastic weight consolidation（EWC）的算法，用以解决持续学习中的遗忘问题。这一算法会根据权重对之前学习任务的重要程度减慢对它们的学习速度。

相关工作

拉普拉斯近似（Laplace Approximation）

本部分参考了5.1 Laplace Approximation。

拉普拉斯近似是一种用于估计函数积分值的方法，它适用于峰值集中在小范围内的长尾函数，如下图所示：