#今日论文推荐# ACL 2022 | 类增量学习的少样本命名实体识别

最新推荐文章于 2024-07-08 00:31:23 发布

wwwsxn

最新推荐文章于 2024-07-08 00:31:23 发布

阅读量285

点赞数 1

分类专栏：神经网络文章标签：深度学习计算机视觉人工智能

原文链接：https://www.aminer.cn/research_report/630f61287cb68b460f109207

版权

神经网络专栏收录该内容

9 篇文章 0 订阅

订阅专栏

该研究提出了首个针对命名实体识别（NER）的少样本类增量学习框架，旨在解决在新实体类出现时，如何在有限的新样本下训练模型而不遗忘旧类知识。通过使用训练好的NER模型生成合成数据来增强新类训练，并提出一个框架，结合合成数据和真实数据对模型进行蒸馏，防止灾难性遗忘。实验结果显示，这种方法在少样本NER任务上显著优于基线方法。

摘要由CSDN通过智能技术生成

#今日论文推荐# ACL 2022 | 类增量学习的少样本命名实体识别

之前的面向 NER 的类增量学习的工作都是基于新类有丰富的监督数据的情况，本文聚焦更具挑战且更实用的问题：少样本 NER 的增量学习。模型只用少量新类样本进行训练，保证新类效果的前提下不遗忘旧类知识。为了解决少样本类增量学习的灾难性遗忘问题，我们使用训练好的 NER 模型对旧类生成合成数据来提升新类训练效果。我们还提出一个框架，通过合成数据和真实数据将 NER 模型从过去 step 中进行蒸馏。实验结果表明我们的方法对比 baseline 取得了很大的提升。

传统的 NER 通常在大规模的数据集上训练，然后直接应用到测试数据上不进行更多的适配。实际上，测试数据的实体类往往在训练集中没有出现过，因此我们希望模型可以增量地学习新的实体类。其中一个问题就是之前旧的训练数据可能由于各种原因不可用了（隐私等原因），这样会使在新类上微调时造成灾难性遗忘。
之前的工作（Monaikul 等人，2021）通过对新实体类添加输出层（AddNER）以及对输出层进行扩展（ExtandNER）两种知识蒸馏的方式解决。但是这种方式需要大量的数据，这在实际问题中不太现实。因此本文遵循了一个更加实际的设置：
（i）使用少量新类样本进行增量学习；（ii）不需要旧类训练数据。
对于 Monaikul 等人的工作，作者认为，大量的新类监督数据也包含大量旧类的实体，虽然这些实体在新类数据上没有标注，可以看作一种无标签的旧类实体的“替代”数据集，可以通用知识蒸馏简单的解决灾难性遗忘。然而在小样本设置下，不能寄希望于使用少量样本来进行知识蒸馏。以此为背景，本文提出一个小样本增量学习 NER 的框架。受到上述问题的启发，作者认为既然使用少量样本不行，那就生成一些合成的数据进行蒸馏。本文通过翻转 NER 模型来生成合成的数据。
具体来说，给定一个旧类训练的模型，我们可以优化合成数据的 embeddings 使得旧类模型以合成数据为输入的预测结果包含旧实体类，因此使用这些合成数据进行蒸馏可以保留旧类的信息。此外，为了保证合成数据相对真实，我们提出利用新类的真实数据，对抗地将合成数据和真实数据的 token 隐藏特征相匹配。通过对抗匹配得到的合成数据在语义上更加接近于新类的真实数据。与只在少量样本上训练相比，合成数据提供了更多样化的信息。
本文的贡献如下：
1. 本文提出了第一个少样本增量学习的 NER 模型；2. 我们使用真实数据和生成的合成数据来进行蒸馏的模型框架；3. 实验表明我们的方法在少样本 NER 中取得了很好的效果。

论文题目：Few-Shot Class-Incremental Learning for Named Entity Recognition
详细解读：https://www.aminer.cn/research_report/630f61287cb68b460f109207https://www.aminer.cn/research_report/630f61287cb68b460f109207
AMiner链接：https://www.aminer.cn/?f=cs