Episodic Memory in Lifelong Language Learning

基于纯回放的方法,在新任务的学习过程中存储和重新训练以前任务的样本，以保留旧信息

Background

作者分析了终身语言学习的困难，主要是由于数据集之间的分布差异和任务差异导致的灾难性遗忘和负迁移。

Method

1. 基础模型：一个预训练的语言模型，用于从输入文本中提取特征。这些特征被用作键值记忆模块的输入。

2. 键值记忆模块：这是一个存储过去经验的模块。每个经验都被存储为一个键值对，其中键是从基础模型中提取的特征，值是对应的标签或回答。当新的输入到来时，模型会在记忆中查找与当前输入最相似的键，并返回对应的值作为预测。

3. 稀疏经验重放：为了防止新学习的知识覆盖旧的知识，模型会定期地从记忆中随机抽取一些经验进行重放。这意味着模型会再次处理这些经验，就像它们是新输入一样。

4. 局部适应：当模型遇到新任务时，它会使用局部适应技术来微调自己的参数，以便更好地适应新任务。局部适应是在一个小批量的新数据上进行的，这可以防止模型过度适应新任务而忘记旧任务。

5. 通过这四个部分的协同工作，情景记忆模型能够在不断变化的数据流中持续学习和适应，同时保持对过去经验的记忆。这使得它在终身语言学习设定下表现出色。

Training and Inference 

• 数据流的模拟：作者使用不同的数据集和任务来模拟一个没有数据集标识符的文本示例流。每个数据集都被分成训练集和测试集，然后按照一定的顺序和频率混合在一起，形成一个无限的数据流。
• 模型的训练：作者使用一个预训练的语言模型作为基础模型，然后在数据流上进行在线学习。每次从数据流中获取一个小批量的数据，模型会先在记忆中查找与当前输入最相似的键值对，然后使用它们进行局部适应。局部适应是在当前小批量数据和记忆中检索到的数据上进行梯度下降，以微调模型参数。然后，模型会将当前小批量数据中的一些示例存储到记忆中，以便于未来的重放。重放是指定期地从记忆中随机抽取一些示例，然后再次处理它们，以巩固新旧知识。
• 模型的评估：作者使用不同的指标来评估模型在文本分类和问答任务上的性能。这些指标包括平均准确率、平均召回率、平均F1分数、平均遗忘率等。作者还使用不同的基线方法和变体方法来与情景记忆模型进行比较，以展示情景记忆模型在终身语言学习设定下的优势。