DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks 论文解读

文章提出的DAGA是一种适配于NER的数据增强方法，来自阿里达摩院

1. 核心思想

DAGA的思想简单来讲就是标签线性化：即将原始的**「序列标注标签」与「句子token」进行混合，也就是变成「Tag-Word」**的形式，如下图：将「B-PER」放置在「Jose」之前，将「E-PER」放置在「Valentin」之前；对于标签「O」则不与句子混合。标签线性化后就可以生成一个句子了，文章基于此句子就可以进行「语言模型生成」了。

 假设我们在相应的词之前（在句子线性化期间）插入标签来训练 RNNLM，在给定“I have booked a flight to”预测下一个 token 时，“S-LOC”的概率远高于其他选择，因为 RNNLM 在训练数据中见过很多类似的例子，比如“a train to S-LOC”、“trip to S-LOC”等。然后论文根据“I have booked a flight to S-LOC ”预测之后的词。在训练数据中，所有的“S-LOC”后面都是位置词，所以“London”、“Paris”、“Tokyo”等都是可能的选择，它们的概率非常接近。 由于增加了随机性，模型可以选择其中的任何一个。

2. 网络模型结构

DAGA 网络（如上图）仅仅通过一层LSTM进行自回归的语言模型训练，网络很轻，没有基于BERT做。