Continual Learning for Text Classification with Information Disentanglement Based Regularization

正则化的方法：在学习新任务时对模型参数添加约束，以防止它们发生太大变化

Pipeline

Method

• 任务定义和总体框架：持续关系学习的目标是在一个序列的任务上不断训练一个模型，学习不断出现的新关系，同时避免遗忘旧关系。每个任务有自己的训练集、验证集和查询集，以及对应的关系集。模型在每个任务上进行训练和评估时，需要考虑所有已知的关系集。为了解决灾难性遗忘的问题，文章引入了一个记忆模块，用于存储每个任务的一些代表性的例子。文章的总体框架包括了几个步骤：学习新任务、选择例子存入记忆、重放、激活和重整记忆。
• 例子编码器：给定一个例子，文章使用一个例子编码器来提取其语义特征，用于检测和学习关系。例子编码器首先将例子分词，并加入特殊的标记来指示实体的位置。然后将分词后的例子输入到一个双向长短期记忆网络（BiLSTM）中，得到例子的语义嵌入。
• 学习新任务：当第k个任务出现时，例子编码器还没有接触过新关系的例子，因此需要在第k个任务的训练集上进行微调，以适应新关系的模式。文章使用一个交叉熵损失函数来优化模型参数和关系嵌入。
• 选择例子存入记忆：在对第k个任务进行微调后，文章从第k个任务的训练集中选择一些有信息量和多样性的例子，存入记忆模块中。文章使用K-Means算法来对每个关系的例子进行聚类，并从每个聚类中心选取最近的例子。文章还根据每个关系在记忆中的例子数量来判断其重要性，并分配不同数量的记忆空间。
• 重放、激活和重整记忆：在对第k个任务进行微调和选择记忆后，文章迭代地进行以下步骤：计算原型、重放和激活、重整记忆。计算原型是指对于每个已知的关系，从记忆中采样一些例子，并计算其平均嵌入作为该关系的原型嵌入。重放和激活是指将记忆中的所有例子和第k个任务的训练集合并起来，作为一个激活集，用于让模型同时学习新旧关系。重整记忆是指对于每个已知的关系，再次从记忆中采样一些例子，并要求模型能够根据原型嵌入来区分它们。这样可以防止模型过度改变或遗忘旧关系的特征分布。
• 训练和预测：对于第k个任务的训练，文章先使用交叉熵损失函数进行若干轮微调，然后选择记忆例子，并迭代地使用重放、激活和重整记忆损失函数进行优化。对于预测阶段，文章使用所有已知关系在记忆中的所有例子以及其关系嵌入来计算最终的关系原型，并使用余弦相似度作为评分函数来预测查询例子属于哪个关系。
•