【NLP】自然语言处理中的数据增强

自然语言处理中的数据增强

  在实际的生产场景下,数据的稀缺性是一种常见的现象,因此如何进行数据增强或者是小样本学习是十分关键的技术。数据增强(DA)在机器学习领域多指采用一些方法(比如数据蒸馏,正负样本均衡等)来提高模型数据集的质量,增强数据。
  最开始的数据增强在计算机视觉中得到了广泛的应用,然后被引入到自然语言处理中,并在许多任务中取得了改进。DA方法的重点之一是提高训练数据的多样性,从而帮助模型更好地泛化到未见测试数据。

哈工大提出了最新的《自然语言处理数据增强方法》综述论文,155页pdf阐述复述、噪声和抽样三大数据增强方法。在本研究中,我们根据扩充数据的多样性,将数据增强方法分为三大类,即1复述、2噪声和3抽样。本文从以上几个方面对数据挖掘方法进行了详细的分析。此外,我们还介绍了它们在自然语言处理任务中的应用以及面临的挑战。

论文:Data Augmentation Approaches in Natural Language Processing: A Survey
地址:https://arxiv.org/abs/2110.01852

综述论文解读:哈工大最新《自然语言处理数据增强方法》综述论文,155页pdf阐述复述、噪声和抽样三大数据增强方法

李rumor 公众号:哈工大|NLP数据增强方法?我有15种

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
哈工大最新《自然语言处理数据增强方法》综述论文,155页pdf阐述复述、噪声和抽样三大数据增强方法 数据增强(DA)是一种有效的策略,可以缓解深度学习技术可能失败的数据稀缺情况。它在计算机视觉得到了广泛的应用,然后被引入到自然语言处理,并在许多任务取得了改进。DA方法的重点之一是提高训练数据的多样性,从而帮助模型更好地泛化到未见测试数据。在本研究,我们根据扩充数据的多样性,将数据增强方法分为三大类,即复述、噪声和抽样。本文从以上几个方面对数据挖掘方法进行了详细的分析。此外,我们还介绍了它们在自然语言处理任务的应用以及面临的挑战。 引言 数据增强Data Augmentation,简称DA),是指根据现有数据,合成新数据的一类方法。毕竟数据才是真正的效果天花板,有了更多数据后可以提升效果、增强模型泛化能力、提高鲁棒性等。然而由于NLP任务天生的难度,类似CV的裁剪方法可能会改变语义,既要保证数据质量又要保证多样性,使得大家在做数据增强时十分谨慎。 作者根据生成样本的多样性程度,将DA方法分为了以下三种: Paraphrasing:对句子的词、短语、句子结构做一些更改,保留原始的语义 Noising:在保证label不变的同时,增加一些离散或连续的噪声,对语义的影响不大 Sampling:旨在根据目前的数据分布选取新的样本,会生成更多样的数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值