【ICLR2022】序列生成的目标侧数据增强

最新推荐文章于 2022-10-15 13:09:44 发布
最新推荐文章于 2022-10-15 13:09:44 发布
阅读量216 收藏 1
点赞数
文章标签： 算法 机器学习 深度学习 人工智能 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247559117&idx=3&sn=4a220d47414a7a2d76723c16d64709b1&chksm=e9e0ee46de9767501207debdcc06eba68f901adaec07e67862ea9fc923ac1b719469c97ebe72&scene=126&&sessionid=0
版权

0c6c165f699c5f2a1becc4e8a462d92c.png

来源：专知
本文为论文，建议阅读5分钟本文提出了一种生成端的数据增强方法。

0ae97014bd73cd6dedf4da621d52e363.png

论文题目：Target-Side Data Augmentation for Sequence Generation

作者：解曙方，吕昂，夏应策，吴郦军，秦涛，刘铁岩，严睿

通讯作者：严睿

论文概述：自回归序列生成是机器学习和自然语言处理中的一个重要方法。每个元素在生成的时候，它同时基于输入条件和已经生成的元素。之前的数据增强方法，虽然已经在各种任务上取得的显著的效果，却只是被运用在了输入条件上。例如在输入的序列中增加噪声，或进行随机替换，打乱，掩码等操作。这些方法都忽视了对已生成元素的增强。本文提出了一种生成端的数据增强方法。在训练阶段，我们使用解码器的输出作为软标签，与真实数据一起生成增强的数据。这些增强数据则进一步用来训练解码器。我们在多个序列生成任务上进行了实验，包括对话生成，机器翻译，和摘要生成。在不使用额外数据和额外的模型参数的情况下，我们的方法在所有指标上显著的高于许多强力的基线模型，充分证明了我们的算法的有效性。

https://openreview.net/forum?id=pz1euXohm4H

846724b4e772781e3cbe3a0028e907c6.png

f58f1f860a3a671f855f9f1a0ea2fadd.png

数据派THU
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图像数据+对应标签数据增强
hushy1110的博客
06-15 2678
图像数据和标注增强
【论文笔记_知识蒸馏_数据增强_2022】When Chosen Wisely, More Data Is What You Need
qq_45128278的博客
03-25 3100
When Chosen Wisely, More Data Is What You Need: A Universal Sample-Efficient Strategy For Data Augmentation 摘要 众所周知，数据增强（DA）可以提高深层神经网络的泛化能力。大多数现有的DA技术天真地添加一定数量的增强样本，而不考虑这些样本的质量和增加的计算成本。为了解决这个问题，一些最先进的DA方法采用的一种常见策略是，在训练期间根据任务目标自适应地生成或重新加权增强样本。然而，这些自适应DA方法：
ECCV 2022 吊打MixUp和CutMix！MMLab&商汤提出超强数据增强策略《TokenMix》！
我爱计算机视觉
09-06 1003
关注公众号，发现CV技术之美本篇分享 ECCV 2022 论文『TokenMix: Rethinking Image Mixing for Data Augmentation in Vision Transformers』，MMLab&商汤提出超强数据增强策略TokenMix！吊打MixUp和CutMix！详细信息如下：论文地址：https://arxiv.org/abs/2207.084...
5. Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation
薰珞婷紫小亭子的博客
01-23 481
论文阅读笔记 四 《Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation》 论文地址： https://www.aclweb.org/anthology/2020.acl-main.631.pdf 注：本文仅提出了一种数据增强的方法，并未提出任何新的ATE方法 一、科学问题： 现有的ATE任务最大的挑战是缺乏足够的已经标注好的数据集。因此，本文是一个数据增强的论文 二
Softmax
whaosoft143ai的博客
10-15 2488
又搬了个蒸馏相关~~ 神经网络中的蒸馏技术“模型集成是一个相当有保证的方法，可以获得2%的准确性。“ —— Andrej Karpathy我绝对同意！然而，部署重量级模型的集成在许多情况下并不总是可行的。有时，你的单个模型可能太大(例如GPT-3)，以至于通常不可能将其部署到资源受限的环境中。这就是为什么我们一直在研究一些模型优化方法 ——量化和剪枝。在这个报告中，我们将讨论一个非常厉害的模型优化技术 —— 知识蒸馏。
【ICLR2022】图神经网络复杂时间序列建模
04-15
在收集传感器测量数据时，经常存在一些实际问题，这些问题会导致各种类型的不正常现象，例如成本节约、传感器故障、物理场景中的外部力量、医疗干预等等。 虽然时间序列的机器学习方法通常假设完全可观察和固定大小...
[ICLR2022]通过并行微分模拟加速策略学习_Python_C_.zip
04-08
标题中的 "[ICLR2022] 通过并行微分模拟加速策略学习" 指的是在2022年国际计算语言学与表示学习大会（International Conference on Learning Representations）上发表的一篇研究论文，该论文关注的是如何利用并行...
natural-adversary:生成自然对抗示例，ICLR 2018
05-18
产生自然对抗的例子ICLR 2018年论文“”的代码。参考 @inproceedings{zhengli2018iclr, title={Generating Natural Adversarial Examples}, author={Zhao, Zhengli and Dua, Dheeru and Singh, Sameer}, booktitle={...
RL-based-Graph2Seq-for-NQG:伴随ICLR 2020论文“基于增强学习的自然问题生成的图形到序列模型”的代码和数据
05-03
伴随ICLR 2020论文代码和数据。 开始吧 先决条件 这段代码是用python 3编写的。您将需要安装一些python软件包才能运行该代码。 我们建议您使用virtualenv来管理您的python软件包和环境。 请按照以下步骤创建python...
Python-从ICLR2019OpenReview网页抓取数据
08-10
本项目是关于如何使用Python从ICLR（International Conference on Learning Representations）2019年的OpenReview网页抓取相关数据。ICLR是一个在机器学习和深度学习领域具有影响力的国际会议，OpenReview则是它采用...
数据增强方法（时间序列）
suixuejie的博客
12-17 1万+
1.DBA（DTW Barycentric Averaging）：基于加权形式的DTW中心平均技术，通过改变权重，可以从给定的一组时间序列创建无穷多个新的时间序列。作者在3种加权方法中采用了一种叫做平均选择法的加权方法 从训练集中随机选取一个初始时间序列，赋予它0.5的权重，这个随机选择的时间序列将作为DBA的初始化时间序列 根据DTW距离，找到DBA初始化时间序列的最近的5个时间序列 从...
深度学习学习——时间序列数据增强
m0_37876745的博客
09-23 3893
数据增强的工具包：https://tsaug.readthedocs.io/en/stable/index.html What is the difference between feature extraction with or without data augmentation?
序列数据的数据增强方法综述
朝闻道
01-19 961
为了追求精度，深度学习模型框架的结构越来越复杂，网络越来越深。参数量的增加意味着训练模型需要更多的数据。然而人工标注数据的成本是高昂的，且受客观原因所限，实际应用时可能难以获得特定领域的数据，数据不足问题非常常见。数据增强通过人为地生成新的数据增加数据量来缓解这一问题。数据增强方法在计算机视觉领域大放异彩，让人们开始关注类似方法能否应用在序列数据上。除了翻转、裁剪等在时间域进行增强的方法外，也描述了在频率域实现数据增强的方法；除了人们基于经验或知识而设计的方法以外，对一系列基于GAN的通过机器学习模型自动生
MM2022 | 用StyleGAN进行数据增强，真的太好用了
努力努力再努力的小马
09-27 1479
本文提出了一种新的配对跨模态数据增强框架，该框架可以生成无限量的配对数据来训练跨模式检索模型。具体来说，作者使用随机文本替换策略来生成增强文本。为了从增强文本中生成相应的增强图像，首先采用StyleGAN2模型生成高质量和多样性的图像。然后，提出通过本文的潜在空间对齐模块来弥合文本和图像数据之间的差距，该模块将文本特征映射到StyleGAN2的潜在空间W。作者使用StyleGAN2的学习对齐模块的输出来生成增强图像，从而获得增强文本-图像对。
深度学习中的数据增强方法
weixin_30385925的博客
03-13 2588
对于较深层次的深度神经网络，其性能会随着训练数据的提升而进一步提升。 目前深度学习方法广泛采用的数据增强方法，主要有： multi-scale：多尺度； translate：平移，[-6, -6]，左上； rotate：旋转，10°，顺时针； scaled：缩放， multi-crop：从原始图像中裁剪中一部分相对小一点的图像； 以及各种输入数据预处理的手...
人工智能-CV：数据增强/Data Argumentation --＞ 扩大数据集
u013250861的博客
01-15 5695
一、数据增强/Data Argumentation概述 我们常常会遇到数据不足的情况。比如，你遇到的一个任务，目前只有小几百的数据，然而，你知道目前现在流行的最先进的神经网络都是成千上万的图片数据。你知道有人提及大的数据集是效果好的保证。对自己数据集小感到失望，你怀疑在我的小数据集上能使我的“最先进的”神经网络能表现好吗？ 答案是：是！在我们开始是这件事发生之前，我们需要先反思几个问题。 1、为什么需要大量的数据？ 下图为流行的神经网络的参数的个数 当你训练一个机器学习mode时候，你真正做的就是调
【方法】数据增强(Data Augmentation)
crazyang的博客
08-30 2万+
在训练过程中，网络优化是一方面，数据集的优化又是另一方面。数据集会存在各类样本不均匀的情况，也就是各类样本的数量不一样，有的甚至差别很大。为了让模型具有更强的鲁棒性，采用Data Augmentation是一个不错的选择。 常用的方法 ImageDataGenerator()函数 常用的方法 Color Jittering：对颜色的数据增强：图像亮度、饱和度、对比度...
AAAI 2020，数据增强方法：Random Erasing Data Augmentation
Exploer_TRY的博客
05-09 1054
Random Erasing Data Augmentation 厦门大学 智能多媒体实验室的一项工作，Leader：李绍滋，发表在AAAI 2020上。 Zhong, Zhun, et al. “Random erasing data augmentation.” Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 07. 2020. 1. 摘要： 介绍了一种新的训练卷积神经网络(CNN)的数据增强方法——
数据增强（data augmentation）
热门推荐
张洁的笔记
03-22 4万+
数据增强（data augmentation） 数据增强主要用来防止过拟合，用于dataset较小的时候。 之前对神经网络有过了解的人都知道，虽然一个两层网络在理论上可以拟合所有的分布，但是并不容易学习得到。因此在实际中，我们通常会增加神经网络的深度和广度，从而让神经网络的学习能力增强，便于拟合训练数据的分布情况。在卷积神经网络中，有人实验得到，深度比广度更重要。 然而随着神经网络的加深，需...
Mapping Language Models to Grounded Conceptual Spaces.pdf
最新发布
05-18
《将语言模型映射到基于实例的概念空间》(Mapping Language Models to Grounded Conceptual Spaces) 是一篇于2022年国际计算机视觉与模式识别大会(ICLR)上发表的论文，由罗马·帕特尔(Roma Patel)和埃莉·帕夫利克...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值