少样本NER的方法

论文：Few-Shot Named Entity Recognition: A Comprehensive Study
速看：微软+韩家炜课题组的全面调研：NER标注数据少，怎么办？
论文总结了少样本ner的三种方法

• 方案1:原型方法(Prototype Methods)：元学习的一种，首先构建实体类型的原型表示，然后通过距离度量（最近邻）给token分别标签。
• 方案2:带噪有监督预训练(Noisy Supervised Pretraining)：持续预训练的一种改进方式，利用大规模、带噪的NER标注数据进行「有监督预训练」，提升下游NER任务的鲁棒性和泛化性。
• 方案3:自训练(Self-Training)：半监督学习的一种常见方式，通过对领域内的未标注数据预测soft标签进行自训练。

论文对上述3种方案的总体建议：

1. 原型方法适合于标注数据极少的场景，或者在线学习场景(不能更新参数)、对未知类型实体进行预测。
2. 带噪有监督预训练可显著提升少样本NER的鲁棒性和泛化性，是一种有效方式。
3. 自训练可利用大量未标注数据，「未标注」与「标注」数据比例高、少样本NER指标增益明显；
4. 「预训练+自训练」结合使用是一个“完美配方”，效果更佳！

自训练的方法在NER 数据增强有所介绍，但没提及下面的第4步：

自训练是我们所熟知的一种半监督学习方式，对于「少样本NER」的自训练步骤为：

• 步骤1: 基于原始标注数据训练一个NER教师模型。
• 步骤2: 通过NER教师模型对未标注数据预测soft标签。
• 步骤3: 基于「原始标注+soft标注」数据训练NER学生模型。
• 步骤4: 重复步骤1～3多次。