论文浅尝 | Continual Learning for Named Entity Recognition

笔记整理：李淑怡，天津大学硕士

动机

在许多真实任务下，常常需要引入新的实体类型，因此需要重新训练命名实体识别模型。当因为存储或安全问题限制对原始数据的访问时，那么为新实体类型重新标注原始数据的成本将会是高昂的。而现有的持续学习方法又很容易出现灾难性遗忘问题(catastrophic forgetting)。因此作者提出通过蒸馏学习保留先前学习的现有知识，使原模型指导新模型学习新的实体类型的持续学习方法。在CoNLL-03数据集和OntoNotes数据集上实验表明，该方法允许模型渐进地能学习新的实体类型，还能保留先前学习的知识。

亮点

本文的亮点主要包括：

1.该方法只需要标注新的实体，通过知识蒸馏保留原模型的知识，使得新的模型在原有模型的指导下学习新的实体类型，解决了灾难性遗忘问题。2.实验结果表明，该方法能够使得模型在不丢失先前知识的情况下学习新的实体类型。

概念及模型

该方法使用Teacher-Student的知识蒸馏框架，分为两个阶段：

1、训练原模型Te