克服神经网络中的灾难性遗忘(EWC):Overcoming catastrophic forgetting inneural networks

Introduction

实现人工通用智能要求智能体能够学习和记忆许多不同的任务（1）。这在现实世界中尤其困难：任务的顺序可能没有明确标记，任务可能不可预知地切换，任何单个任务都不可能长时间重复。因此，至关重要的是，智能代理必须证明一种持续学习的能力：即在不忘记如何执行先前训练的任务的情况下学习连续任务的能力。
与人工神经网络形成鲜明对比的是，人类和其他动物似乎能够持续地学习。最近的证据表明，哺乳动物的大脑可能通过保护新皮层回路中先前获得的知识来避免灾难性的遗忘(11 14)。当老鼠获得一项新技能时，兴奋性突触的比例会增强;这表现为神经元个体树突棘体积的增加(13)。关键的是，这些增大的树突棘仍然存在，尽管随后学习了其他的任务，这就解释了几个月后表现的保留(13)。当这些脊椎被选择性地抹去时，相应的技能就被遗忘了(11,12)。这为保护这些强化突触的神经机制对保持任务性能至关重要提供了因果证据。这些实验结果和神经生物学模型，如级联模型(15,16)表明，在新大脑皮层中持续的学习依赖于特定任务的突触巩固，通过改变可塑性较低的突触的比例，从而在长时间内稳定地进行知识编码。因此，知识是通过对一部分可塑性较低的突触进行持久编码的，因此在很长的时间尺度上是稳定的。
我们开发了一种人工神经网络突触整合的算法，我们称之为弹性权重整合（EWC）。该算法根据某些权重对先前看到的任务的重要性来减慢学习速度。我们展示了EWC如何在监督学习和强化学习问题中使用，在不忘记旧任务的情况下连续训练多个任务，这与以前的深度学习技术形成了显著的对比。
在本节中，我们将解释为什么我们期望在旧任务的附近找到一个新任务的解决方案，我们如何实现约束，最后我们如何确定哪些参数是重要的。

Results

在大脑中，突触巩固可能通过降低突触的可塑性来促进持续学习，而这些突触对之前学习的任务至关重要。我们实现了一种算法，在人工神经网络中通过约束重要参数使其保持在原有值附近来形成类似的操作。在本节中，我们将解释为什么我们期望在旧任务的附近找到一个新任务的解决方案，我们如何实现约束，最后我们如何确定哪些参数是重要的。
深层神经网络由多层线性投影和单元非线性组成。学习一个任务包括调整权重集和线性投影的偏差θ，以优化性能。


这个约束被实现为一个二次惩罚，因此可以想象为一个弹簧，将参数锚定到前一个解上，因此得名为弹性。重要的是，这个弹簧的刚度不应该是相同的所有参数;相反，对于那些对taskA性能影响最大的参数，它