NLP数据增强方法总结

NLP数据增强

1. UDA (Unsupervised Data Augmentation)【推荐】

参考：
[1]: https://github.com/google-research/uda “Unsupervised Data Augmentation”
[2]: https://arxiv.org/abs/1904.12848 “Unsupervised Data Augmentation for Consistency Training”

一个半监督的学习方法，减少对标注数据的需求，增加对未标注数据的利用。

UDA使用的语言增强技术——Back-translation：回译能够在保存语义不变的情况下，生成多样的句式。

UDA关键解决的是如何根据少量的标注数据来增加未标注数据的使用？

对给定的标注数据，可以根据监督学习方法学习到一个模型$M=p_{\theta }(y|x)$。对未标注数据，进行半监督学习：参考标注数据分布，对未标注数据添加噪声后学习到的模型$p_{\theta }(y|\hat{x})$。为了保证一致性的训练（consistency training)，需要尽量减少标注数据和未标注数据的分布差异，即最小化两个分布的KL散度：$min{D}_{KL}(p_{\theta }(y|x)||p_{\theta }(y|\hat{x}))$。而$\hat{x}=q(x,ϵ)$是对未标注数据添加噪声后得到的增强数据。那么如何添加噪声$ϵ$，来得到增强的数据集$\hat{x}$？

• valid noise: 可以保证原始未标注数据和扩展的未标注数据的预测具有一致性。
• diverse noise: 在不更改标签的情况下对输入进行大量修改，增加样本多样性，而不是仅用高斯噪声进行局部更改。
• targeted inductive biases: 不同的任务需要不同的归纳偏差。

UDA论文中对图像分类、文本分类任务做了实验，分别用到不同的数据增强策略：

• Image Classification: RandAugment
• Text Classification: Back-translation回译，保持语义，利用机器翻译系统进行多语言互译，增加句子多样性。
• Text Classification: Word replacing with TF-IDF ，回译可以保证全局语义不变，但无法控制某个词的保留。对于主题分类任务，某些关键词在确定主题时具有更重要的信息。新的增强方法：用较低的TF-IDF分数替换无信息的单词，同时保留较高的TF-IDF值的单词。

2. EDA (Easy Data Augmentation)

参考：
[1]: https://github.com/zhanlaoban/EDA_NLP_for_Chinese “EDA_NLP_for_Chinese”
[2]: https://arxiv.org/abs/1901.11196 “EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks”
[3]: https://github.com/jasonwei20/eda_nlp “EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks”

EDA 的4个数据增强操作：

• 同义词替换(Synonym Replacement, SR)：从句子中随机选取n个不属于停用词集的单词，并随机选择其同义词替换它们；
• 随机插入(Random Insertion, RI)：随机的找出句中某个不属于停用词集的词，并求出其随机的同义词，将该同义词插入句子的一个随机位置。重复n次；
• 随机交换(Random Swap, RS)：随机的选择句中两个单词并交换它们的位置。重复n次；
• 随机删除(Random Deletion, RD)：以 p的概率，随机的移除句中的每个单词；

使用EDA需要注意：控制样本数量，少量学习，不能扩充太多，因为EDA操作太过频繁可能会改变语义，从而降低模型性能。

欢迎各位关注我的个人公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。