【AAAI2023】基于神经跨度的持续命名实体识别模型

论文标题：A Neural Span-Based Continual Named Entity Recognition Model

论文链接：https://arxiv.org/abs/2302.12200

代码：https://github.com/Qznan/SpanKL

@inproceedings{zhang2023spankl,
  title={A Neural Span-Based Continual Named Entity Recognition Model},
  author={Zhang, Yunan and Chen, Qingcai},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2023}
}

导读

能够持续学习（CL）的命名实体识别（Named Entity Recognition，NER）在实际应用中特别有价值，尤其是在实体类型不断增加的领域，比如个人助手应用。与此同时，NER的学习范式不断发展，采用了新的模式，如基于跨度的方法。然而，这些新方法在持续学习方面的潜力尚未被充分探索。

我们提出了一种名为SpanKL的命名实体识别（NER）模型，该模型具备持续学习（CL）的能力。SpanKL模型是一种简单而有效的基于跨度的模型，结合了知识蒸馏（KD）以保留记忆和多标签预测以防止CL-NER中的冲突。与先前的序列标注方法不同，SpanKL在跨度和实体级别上具有固有的独立建模，通过设计的一致优化促进了每个增量步骤上的学习，并减轻了遗忘现象。

在来自OntoNotes和Few-NERD的合成CL数据集上进行的实验证明，SpanKL在许多方面明显优于先前的最先进方法，同时在从CL到上限的差距方面表现最小，显示出其高实用价值。

本文贡献

• 我们构建了一个简单的基于跨度的体系结构，以实现CL-NER中的连贯优化，这可以作为一个即时和强大的经验基线。

• 我们对最近的模型的不同合成设置的比较，并通过未来研究的一个新的基准来探索更现实的CLNER场景。

本文方法

问题定义

我们遵循最近的工作，在类增量设置下形式化CL-NER。给定一系列的任务

和相应的实体类型

，为了持续学习，第 l 个任务有自己的训练集