我们知道,在NLP领域,特别是工业界中,标签数据是很难获得的,很多时候会面临数据量太小的问题,这个时候,文本数据增强可以有效地帮我们缓解这个问题。我本人在今年的科大讯飞AI大赛中也使用了下文提到的一些方法,并提升了5个百分点左右(后续的文章会详细介绍,请持续关注…),可以说效果是相当明显,所以说数据增强方法绝对是值得大家花点时间学习的。
本篇文章,我们将介绍常用的文本数据增强方法,并提供相应的参考文献以及使用案例。
文章目录
1. Easy Data Augmentation(EDA)
EDA是一种简单但非常有效的方法,具体包括随机替换,随机插入,随机交换,随机删除等。
代码也很简单: EDA code
2. An Easier Data Augmentation(AEDA)
AEDA方法很简单,就是在句子中间添加标点符号以此来增强数据。整篇文章正文只有一段,所谓大道至简。中了EMNLP2021 Findings。
代码同样很简单: AEDA code
3. Back translation
Back translation即回译:将文本翻译成另外一种语言,然后再翻译回来。同时,我们也可以翻译成多个语言,从而得到多条回译样本。
实现代码: 回译代码
4. Masked Language Model
掩码语言模型(Masked Language Model),即利用预训练好的BERT, Roberta等模型,对原句子进行部分掩码,然后让模型预测掩码部分,从而得到新的句子。
使用方法也很简单:
但是,这种方法存在的一个问题是,决定要屏蔽文本的哪一部分并不简单。可以考虑使用启发式来确定掩码部分,否则,生成的文本可能无法保留原始句子的含义。具体请参考paper:Generating adversarial examples for text classification
5. Random Noise Injection
Random Noise Injection方法的思想是在文本中注入噪声,来生成新的文本,最后使得训练的模型对扰动具有鲁棒性。
-
Spelling error injection
在这种方法中,我们在句子中添加一些随机单词的拼写错误。可以通过编程方式或使用常见拼写错误的映射来添加这些拼写错误。 -
QWERTY Keyboard Error Injection
这种方法试图模拟在 QWERTY 键盘布局上打字时由于键之间非常接近而发生的常见错误。 -
Unigram Noising
其思想是使用从 unigram 频率分布中采样的单词进行替换。这个频率基本上就是每个单词在训练语料库中出现的次数。
6. Instance Crossover Augmentation
在该方法中,一条 tweet 被分成两半,然后两个相同情绪类别(正/负)的 tweets 各自交换一半的内容。这么做的假设是,即使结果在语法和语义上不健全,新的文本仍将保留原来的情绪类别。
这种方法对准确性没有影响,并且在 F1-score 上还有所提升,这表明它帮助了模型提升了在罕见类别上的判断能力,比如 tweet 中较少的中立类别。
7. Syntax-tree Manipulation
其思想是解析并生成原始句子的依赖树,使用规则对其进行转换来对原句子做复述生成。
例如,一个不会改变句子意思的转换是句子的主动语态和被动语态的转换。
8. MixUp for Text
- wordMixup
- sentMixup
该方法以给定的比例计算原始文本的两个标签的交叉熵损失。
9. Conditional Pre-trained Language Models
通过文本生成的方法来增加样本(有点像今年比较火的prompt learning方法)
第一步:
第二步:
10. 工具介绍
10.1 NLP Albumentation
code: code-sample
10.2 NLPAug Library
一些总结
来自某kaggler:From my experience, the most commonly used and effective technique is synonym replacement via word embeddings.
code: nlpaug
10.3 Things to keep in mind
一些注意事项: