Span抽取和元学习能碰撞出怎样的新火花，小样本实体识别来告诉你！

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表基于Span和元学习的小样本实体识别算法SpanProto。这是一种面向命名实体识别的小样本学习算法，采用两阶段的训练方法，检测文本中最有可能是命名实体的Span，并且准确判断其实体类型，在仅需要标注极少训练数据的情况下，提升预训练语言模型在命名实体识别任务上的精度。

 

论文：
Jianing Wang, Chengyu Wang, Chuanqi Tan, Minghui Qiu, Songfang Huang, Jun Huang, Ming Gao. SpanProto: A Two-stage Span-based Prototypical Network For Few-shot Named Entity Recognition. EMNLP 2022

背景

大规模预训练语言模型的广泛应用，促进了NLP各个下游任务准确度大幅提升，然而，传统的自然语言理解任务通常需要大量的标注数据来微调预训练语言模型。例如，对于命名实体识别任务，模型的训练需要一定数量的语料来学习Token与Label之间的依赖关系。但是在实际应用中，标注数据资源比较稀缺，传统的序列标注方法很难达到较好的效果，因为其需要解决实体识别中的标签依赖（Label Depnedency）关系，同时也无法应对实体嵌套（Nested Entity）问题。因此，我们研究一种基于Span和元学习的小样本实体识别技术。特别地&#x