NLP的数据增强技术总结


浅层的文本数据增强技术,主要是在词汇与字符上做变换。具有代表性的是 Easy Data Augmenter

一、简单的数据增强技术 EDA (Easy Data Augmentation) 即Normal Augmentation Method

EDA 的4个数据增强操作:

1、同义词替换(Synonym Replacement, SR):

从句子中随机选取n个不属于停用词集的单词,并随机选择其同义词替换它们;

2、随机插入(Random Insertion, RI):

随机的找出句中某个不属于停用词集的词,并求出其随机的同义词,将该同义词插入句子的一个随机位置。重复n次;

3、随机交换(Random Swap, RS):

随机的选择句中两个单词并交换它们的位置。重复n次;

4、随机删除(Random Deletion, RD):

以 p的概率,随机的移除句中的每个单词;

使用EDA需要注意:控制样本数量,少量学习,不能扩充太多,因为EDA操作太过频繁可能会改变语义,从而降低模型性能。

5、字符编辑

在单词中随机删除、插入、替换字符或者交换两个字符次序,用于模拟输入错误。

6、基于模板生成

这种方法需要从语料中挖掘一些模板。最简单的就是主被动句式变换、命名实体替换等。

二、Normal Augmentation Method

深层的数据增强技术,涉及到语义保持,主要是通过深度模型的语义编码实现的,常见方法有

1、回译 (Back Translation)

用机器翻译的方法将句子翻译成另外一种语言,然后再翻译回来。回译能够在保存语义不变的情况下,生成多样的句式,是无监督学习方法中常使用的语言增强技术。

2、生成法

可以通过一些基于Transformer的比较好的语言模型去生成句子或者替换句子中的词,例如Fast Cross-domain Data Augmentation through Neural Sentence Editing先用一个编码器生成句子的的向量表示,然后基于这个向量生成新的句子。

3、文本对抗(Text Attack)

这种方法的初衷是通过生成增强的数据干扰分类器,让生成器与分类器对抗学习,从而提升分类器的鲁棒性。省略部分由于看不懂,所以跳过了,链接在此

以下详细介绍一种无监督的数据增强技术(可以先不看):

无监督的数据增强技术UDA (Unsupervised Data Augmentation) 即一个半监督的学习方法,减少对标注数据的需求,增加对未标注数据的利用。

UDA关键解决的是如何根据少量的标注数据来增加未标注数据的使用。

Google在2019年提出了UDA方法(Unsupervised Data Augmentation 无监督数据增强),这是一种半监督学习方法。问世后,就击败了市面上其他的把深度半监督方法,该方法通过很少量的标记样本,便可以达到跟大数据样本一样的效果。

在UDA论文中,效果体现在IMDb数据集上,通过仅仅20个标记样本与约7万余个无标记样本(经过数据增强)的UDA算法学习,最终达到了与有2.5W标记数据集更好的效果,十分令人兴奋。

在这里插入图片描述

损失

如上面图,损失分为两部分:标记数据的损失未标记的数据的损失

有标注样本:一部分为有标注样本的,计算交叉熵损失。 目标是最小化有标签数据的损失。
在这里插入图片描述

无标签样本:另一部分为无标签的损失

1、目标是什么?
目标是最小化无标签增广数据与无标签数据的KL散度

2、那么这部分无标签样本怎么得到的呢?
2.1 通过数据增强得到,何为数据增强呢?
数据增强就是,在样本x的标签L不变的情况下,对x进行转换,得到新的训练样本x’, 新样本x’的标签也是L。
2.2 转换方法都有哪些?
回译、TF-IDF word替换等等

3、损失定义
新旧数据有相同的数据标签。通常为了得到的增强数据与原始数据相似,使用的是最大似然估计方法。这里采用KL散度,算两个分布的损失:
在这里插入图片描述
最终的损失为:
在这里插入图片描述
前面部分为有标签的损失部分,后半部分为无标签增强样本损失。

训练技巧
这个简书作者也没写

应用
在实际的场景下,UDA代表的半监督学习有十分广大的应用场景。例如,在某个细分领域,如金融领域,涵盖了大量的财经新闻、公司财报、法律文书、客户沟通记录等等,在该领域下没有标记的原始文本数据非常的庞大。而如果使用传统的监督学习方法,则需要十分昂贵而且专业的人员来进行数据样本的标记,这样的话,它的成本与项目进度将非常巨大与缓慢。但UDA类似的半监督学习恰好能近乎完美的解决这个问题。

参考:

NLP中常用的数据增强技术
NLP数据增强
UDA(Unsupervised Data Augmentation 无监督数据增强)

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

饿了就干饭

你的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值