NER 数据增强

DAGA模型

https://zhuanlan.zhihu.com/p/342032812
核心思想：标签线性化以后送入语言模型训以完成数据增强
标签线性化：

语言模型：

利用教师模型与知识蒸馏

https://mp.weixin.qq.com/s/OZlruC7zxIH9ZZlB7a4Q0g

训练NER最好的模型需要大量的计算资源、时间与数据集，我们用一个网络结构小的模型，并且利用知识蒸馏，岂不是不用那么多时间了？
NER最好的模型是教师模型，网络结构小的模型是学生模型。
我们先利用业务内（可以看作特定的领域）的少量数据来微调教师模型，再利用教师模型来删选后续业务产生的数据（也可以是其他数据，但领域越接近越好）。在NER业务中，删选后的数据也就是有命名实体的数据，这也是用教师模型进行删选的目的。可以把这个操作当作数据增强。
最后把原数据与数据增强后的数据合并来蒸馏学生模型。

这个方法在我的少样本NER的方法有所补充：重复上面的方法多次，即：

• 步骤1: 基于原始标注数据训练一个NER教师模型。
• 步骤2: 通过NER教师模型对未标注数据预测soft标签。
• 步骤3: 基于「原始标注+soft标注」数据训练NER学生模型。
• 步骤4: 重复步骤1～3多次。