微软、UIUC韩家炜组联合出品：少样本NER最新综述

©PaperWeekly 原创 · 作者 | 蔡杰

单位 | 北京大学硕士生

研究方向 | QA

当前的机器学习和深度学习模型都需要大量的标注数据来进行训练，以达到一个较好的效果。但是在带 label 的训练样本很少或很难获取的情况下，直接训练模型通常不会有很好的泛化能力，反而容易造成模型对样本过拟合以及对目标任务欠拟合。针对这几个问题少样本学习（few shot learning）应运而生，少样本学习指的是在 NLP 任务中只使用少量的标记样本训练模型，使得模型可以有效的学习小样本中的信息。本文针对 NER 领域中的 few shot learning 做了一个综述。

论文标题：

Few-Shot Named Entity Recognition: A Comprehensive Study

论文链接：

https://arxiv.org/pdf/2012.14978.pdf

Background on Few-shot NER

命名实体识别任务可以看做是一个序列标注任务，输入输出分别是如下形式：

其中输入 X 是长度为 T 个 tokens 的文本，输出 Y 是长度为 T 个 tokens 的标签。整个带有标签的训练集合可以表示为如下形式：

其中 N 表示的是该集合中样本的个数。

Pipeline Method：在 NER 领域中常用的基于预训练模型的 Pipeline 方法是将预训练模型作为特征提取器，在预训练模型之后直接添加一层 Linear 和 Softmax，训练的时候调整 Linear 的参数，预训练模型的参数可以选择训练也可以选择保持不变。具体模型图如下：

三个问题

可能有人会问为什么要将 Few-shot 应用到 NER 中，毕竟 NER 可以通过一些远程监督的方法获取到 NER 标注样本&#