Raki的读paper小记：LEARNING FAST, LEARNING SLOW : A GENERAL CONTINUAL LEARNING METHOD

Abstract & Introduction & Related Work

• 研究任务
  持续学习
• 已有方法和相关工作
  1. CLS理论认为，高效的学习需要两个互补的学习系统：海马体表现出短期适应性和对偶发信息的快速学习，然后逐渐巩固到新皮层，以便缓慢地学习结构化信息
  2. 许多现有的方法只注重直接对前额叶皮层进行建模，而没有快速学习网络，而快速学习网络在实现大脑中的高效CL方面起着关键作用
• 面临挑战
  在深度神经网络（DNNs）中实现CL的主要挑战是，从非稳态数据分布中不断获取增量信息通常会导致灾难性的遗忘，即在学习新的任务时，模型在之前学习的任务上的表现会急剧下降。
• 创新思路
  不利用任务边界，也不对数据的分布做任何假设，这使得它具有多功能性，适合于 “一般持续学习”
• 实验结论

我们基于大脑中的补充学习系统理论提出了一个novel的双记忆经验回放法
除了一个小的事件性记忆，我们的方法构建了长短期语义记忆来模仿信息的快速和缓慢适应，由于网络权重编码任务的学习表征（Krishnan等人，2019年），语义记忆是通过采取工作模型权重的指数移动平均值来维持的，以巩固不同时间窗口和频率的任务信息。语义记忆与外显记忆相互作用，以提取巩固的重放激活模式，并对工作模型的更新强制执行一致性损失，以便获得新的知识，同时使工作模型的决策边界与语义记忆的决策边界一致。这保持了模型的可塑性和稳定性之间的平衡，以便有效地巩固知识

METHOD

COMPLEMENTARY LEARNING SYSTEM THEORY

CLS理论认为，大脑中有效的终生学习需要两个互补的学习系统。海马体迅速将新的信息编码为短期记忆，随后用于转移和巩固新皮层中的知识，新皮层通过经验回放逐渐获得结构化的知识表征作为长期记忆。海马体和新皮层的功能之间的相互作用对于同时学习有效的表征（以便更好地泛化）和基于实例的外显记忆的具体内容至关重要

COMPLEMENTARY LEARNING SYSTEM BASED EXPERIENCED REPLAY

在CLS理论的启发下，我们提出了一种双重记忆经验重放方法，即CLS-ER，其目的是模仿快速学习和慢速学习机制之间的相互作用，以实现DNNs的有效CL。我们的方法保持了对遇到的任务的短期和长期语义记忆，这些记忆与重放相关神经活动的事件记忆相互作用。工作模型被更新，使其获得新的知识，同时使其决策边界与语义记忆保持一致，以实现跨任务的结构化知识的巩固。图1强调了CLS理论和我们的方法之间的相似之处

Semantic Memories

由于所学任务的知识被编码在DNN的权重中，我们的目的是通过积累模型的相应权重中编码的知识来形成我们的语义记忆，因为它依次学习了不同的任务

平均教师（Mean Teacher）提供了一种聚合模型权重的有效方法，它是一种知识蒸馏方法，在训练期间使用学生的权重的指数移动平均数（EMA）作为半监督学习的教师。它也可以被认为是形成中间模型状态的自我组合，从而导致更好的内部表示。我们采用平均教师的方法来建立我们的语义记忆，因为它提供了一种计算和记忆效率高的方法来积累任务的知识

由于CL涉及到依次学习任务，每个训练步骤的模型权重可以被认为是专门针对某一特定任务的学生模型。因此，在训练过程中平均权重可以被认为是形成了一个特定任务的学生模型的集合，它有效地聚合了整个任务的信息，导致了更平滑的决策边界。CLS-ER通过在工作模型的权重上保持两个EMA加权的模型来建立长期（稳定模型）和短期（塑性模型）的语义记忆。稳定模型的更新频率较低，窗口大小较大，因此它能保留更多来自早期任务的信息，而塑性模型的更新频率较高，窗口大小较小，因此它能更快地适应新任务的信息（图2）。D节进一步说明了采用两个语义记忆而不是单一的语义记忆的好处

Episodic Memory

重现存储在小型外显记忆中的之前任务的样本是CL的一种常见方法，已被证明在减轻灾难性遗忘方面是有效的。由于我们的目标是将CLS-ER定位为一种多功能的通用增量学习方法，我们不利用任务边界，也不对任务或样本的分布做任何强有力的假设。因此，为了维持一个固定的情节记忆缓冲区，我们采用了水库采样（Vitter, 1985），它为流中的每个样本分配相等的概率，以在缓冲区中得到体现，并随机地替换现有的记忆样本（算法2）。这是一个全局性的分布匹配策略，确保在任何时候，缓冲区内的样本分布将与迄今为止看到的所有样本的分布大致匹配

Consolidation of Information

CL的关键挑战是将新信息与以前获得的信息进行整合。这需要在模型的稳定性和可塑性之间取得有效的平衡。此外，随着新任务的学习，决策边界的急剧变化使得信息在任务中的巩固更具挑战性。CLS-ER通过一个新颖的双重记忆经验重放机制来解决这些挑战。长期和短期语义记忆与外显记忆相互作用，以提取记忆样本的巩固激活，然后利用这些激活来限制工作模型的更新，以便在决策边界与语义记忆一致的情况下获得新知识。这可以防止在学习新任务时参数空间的快速变化。此外，使工作模型的决策边界与语义记忆保持一致有两个目的：

1. 有助于保留和巩固信息
2. 导致决策边界更顺利的适应

在每个训练步骤中，工作模型从数据流中接收训练批次 $X_b$，并从外显记忆中检索出一批随机的示例$X_m$。然后再检索最佳语义信息，即在语义记忆中编码的结构性知识，这些知识说明了对特征空间的巩固和对以前任务的决策边界的适应。语义记忆的设计使塑性模型在最近的任务上有更高的性能，而稳定模型则优先保留旧任务的信息。因此，我们更愿意将稳定模型 $Z_S$ 的对数用于较早的范例，而将塑性模型 $Z_P$ 用于近期的范例。由于CLS-ER是一种通用的增量学习方法，我们没有使用硬性的阈值或任务信息，而是选择了一种简单的任务无关的方法，即使用语义记忆在典范上的表现作为选择标准，根据经验，这种方法效果良好。对于每个样本，我们根据哪个模型对基础事实类具有最高的softmax得分来选择重放逻辑Z（算法1第5-6行）

然后，从语义记忆中选择的重放日志被用来对工作模型实施一致性损失，以便它不会偏离已经学到的经验。因此，工作模型是由数据流和外显记忆样本的联合体X的交叉熵损失和典范Xm的一致性损失的组合来更新：

在更新工作模型的权重后，以$r_P$ 和 $r_S$ 的学习率来随机更新可塑性记忆和稳定记忆，塑性记忆的学习率大于稳定记忆，所以更新的更快，使用随机的而不是确定性的方法在生物学上更有说服力，这减少了工作模型快照的重叠，导致语义记忆的更多多样性。语义记忆是通过对工作模型的权重采取指数移动平均来更新的（Tarvainen & Valpola, 2017），衰减参数分别为 ${\alpha }_P$ 和 ${\alpha }_S$

EXPERIMENTAL SETUP

EMPIRICAL EVALUATION

MODEL CHARACTERISTICS

CONCLUSION

我们根据大脑中的互补学习系统理论，提出了一种新颖的双重记忆经验重放方法。我们的方法保持了长期和短期的语义记忆，这些记忆被用来有效地重放外显记忆的神经活动，并使工作模型的决策边界一致，以实现高效的知识巩固。我们在基准数据集以及更具挑战性的一般增量学习场景中证明了我们方法的有效性，并在绝大多数的持续学习设置中达到了新的最先进水平。我们进一步表明，CLS-ER收敛到更平坦的最小值，减轻了对最近任务的偏见，并提供了一个良好校准的高性能模型。我们强有力的实证结果促使我们进一步研究如何更忠实地模仿大脑中的互补学习系统，以实现DNN的最佳持续学习

Remark

读下来我最大的感觉是，这篇文章很会讲故事，其实不就是LwF的魔改版本吗，把固定一个模型改成了用很小的学习率，加上一些缓存记忆，说的多么多么的花里胡哨…还行吧