[深度学习论文笔记][ICLR 18]mixup: BEYOND EMPIRICAL RISK MINIMIZATION

最新推荐文章于 2024-08-14 05:39:09 发布
最新推荐文章于 2024-08-14 05:39:09 发布
阅读量4.3k 收藏 12
点赞数 3
分类专栏： 深度学习论文笔记 文章标签： 深度学习 人工智能 图像分类 GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010158659/article/details/79212503
版权
本文介绍了ICLR 18论文《mixup：超越经验风险最小化》的内容，提出了一种新颖的数据增强方法，通过线性插值创建训练样本的混合数据，以改善深度学习模型的泛化能力和对抗攻击抵抗力。实验表明，这种方法能有效提升图像分类任务的精度，降低对噪声标签的过拟合，增强模型对对抗样本的鲁棒性，并有助于GAN训练的稳定性。
摘要由CSDN通过智能技术生成

[ICLR 18]mixup: BEYOND EMPIRICAL RISK MINIMIZATION

Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin and David Lopez-Paz

from MIT & FAIR

paper link

Overview

这篇文章提出了一种新的数据扩展方法。该方法简单有效。同时作者在文章中进行了详细的理论分析和实验分析，很有阅读价值。

Motivation

从ERM到VRM

当前网络优化方法大多遵循经验风险最小化方法(Empirical Risk Minimization, ERM)，即使用采样的样本来估计训练集整体误差。一个对ERM的简明解释可以参考这里。[1]的研究证明模型体量固定，数据量足够，即可保证使用ERM时训练的收敛性。如今网络体量都很大，这就造成：

  1. 网络倾向于记忆训练样板，而不是泛化[2]；
  2. 难以抵御分布外样本，如肉眼感官没有区别的对抗样本[3]。

解决这一问题的一个途径就是使用邻域风险最小化原则(Vicinal Risk Minimization, VRM)，即通过先验知识构造训练样本在训练集分布上的邻域值。通常做法就是传统的数据拓展，如翻转，旋转，放缩等。但是这种做法过于依赖特定数据库，此外需要人类的先验知识 。

Method

本文的贡献是提出一种新的数据扩展方式，即使用线性插值的方法得到新的扩展数据。假设 (x

最低0.47元/天 解锁文章
mixup: BEYOND EMPIRICAL RISK MINIMIZATION
ellin_young的博客
07-22 3358
原文：https://arxiv.org/pdf/1710.09412.pdf  代码：https://github.com/hongyi-zhang/mixup 摘要：深度神经网络非常强大，但也有一些问题，如强制记忆和对对抗样本的敏感性；本文提出的mixup就是缓解这些问题的一种学习策略。本质上，mixup用样本对和标签对的凸组合(on convex combinations of pa...
Mixup:Beyond Empirical Risk Minimization
abrams90的专栏
04-23 2630
Abstract 大规模神经网络功能很强大，但是显现出了不如预期的一些表现，例如对攻击样本的记忆力与敏感度。本文中，我们提出了一种缓解issues的学习原则称为mixup。总的来说，mixup通过对样本对及标签进行凸融合来训练深度神经网络。这样使得神经网络在训练任务调整成为它最擅长的简单线性学习。我们在ImageNet-2012，CIFAR-10，CIFAR-100，Google comm...
数据增强之mixup论文笔记
热门推荐
ouyangfushu的博客
02-21 2万+
数据增强之mixup论文笔记 一、前言 深度学习一直以来存在计算量大（落地困难）和模型过拟合的问题。为了解决过拟合问题，从模型本身和数据这两个方面着手，提出了很多有效的方法。 数据增强（Data Argumentation）则是从数据层面解决过拟合，提高模型的泛化性（generalization）...
mixup：超越经验风险最小化（论文解读）
最新发布
YannicKilcher的博客
08-14 160
这篇论文提出了一种简单但有效的技术，用于改进分类器训练。 核心思想: 传统的机器学习模型通常只在训练数据集中已有的数据点上进行训练，这会导致模型过度拟合，在未见过的样本上表现不佳。论文建议在训练数据点之间生成新的数据点，称为“混合数据点”。这些混合数据点由两个相邻数据点的线性组合构成，其标签也由两个数据点标签的线性组合得到。 具体做法: 假设有两个数据点 A 和 B，分别属于类别 1 和类别 2。...
【论文阅读】mixup: BEYOND EMPIRICAL RISK MINIMIZATION
SilverBullet
04-26 4150
mixup: BEYOND EMPIRICAL RISK MINIMIZATION 作者Hongyi Zhang，本科北大，发这篇文章的时候是MIT的博士五年级学生。这篇文章是和FAIR的人一起合作的。 Introduction 摘要中，本文提到了mixup方法可以让神经网络倾向于训练成简单的线性关系。从而降低模型的过拟合现象。 实际上，现在的神经网络规模通常是和数据集规模成正比的。训...
【Mixup】《Mixup：Beyond Empirical Risk Minimization》
bryant_meng
06-30 1968
ICLR-2018现在的模型越来越强，但 memorization（死记硬背训练集，泛化能力不够） and sensitivity to adversarial examples（泛化能力不够）作者从 Vicinal Risk Minimization (VRM) principle 出发，提出 mixup 数据增强方法（convex combinations of pairs of examples and their labels）以提升现有 SOTA 模型的泛化能力Q：VRM 是啥？先从 Empiri
mixup:beyond empirical risk minimization
liguandong
12-13 2556
全网最全:盘点那些图像数据增广方式Mosiac,MixUp,CutMix等. - 知乎全网最全:盘点那些图像数据增广方式Mosiac,MixUp,CutMix等. 本文由林大佬原创，转载请注明出处，来自腾讯、阿里等一线AI算法工程师组成的QQ交流群欢迎你的加入: 1037662480 相信很多朋友在面对各种各样的数据增广…https://zhuanlan.zhihu.com/p/191558572 如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？ - 知乎这篇p
mixup: Beyond Empirical Risk Minimization
weixin_30532987的博客
03-27 208
这篇论文MIT和FAIR的工作，主要是提出了一种mixup的方式。（感觉是一种产生hard sample的方法，是一种新的、更有效的数据增强。） 1 Introduction 大网络需要大数据，目前CV领域的任务逐渐采用大模型来解决。这些大模型有两个共同特点：①经验风险最小化（ERM)，在训练集上需要训练出比较好的性能，也就是拟合训练数据；②模型规模与数据集规模线性增长，才有可能训出比较好的模...
【深度学习】Mixup: Beyond Empirical Risk Minimization
z小白的博客
06-14 1万+
一、相关理论 Mixup是MIT和FAIR在ICLR 2018上发表的文章中提到的一种数据增强算法。在介绍mixup之前，我们首先简单了解两个概念：经验风险最小化（Empirical risk minimization，ERM）和邻域风险最小化（Vicinal Risk Minimization，VRM）。 “经验风险最小化”是目前大多数网络优化都遵循的一个原则，即使用已知的经验数据（训练样本...
论文笔记：mixup: BEYOND EMPIRICAL RISK MINIMIZATION
weixin_39901859的博客
06-26 481
文章目录AbstractIntroductionFrom ERM to mixupTheory一些设计选择与发现Mixup做了什么？Experiments一些数据集的classificationMemorization of corrupted labelsRobustness to adversarial examplesStabilization of GANsAblation studies具体实验Related workDiscussion Abstract 本质上，mixup利用训练样本和他们标签
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
Python-论文MixupBeyondEmpiricalRiskMinimization的一个PyTorch实现
08-11
论文Mixup: Beyond Empirical Risk Minimization的一个PyTorch实现
Python-mixupBeyondEmpiricalRiskMinimization
08-11
mixup: Beyond Empirical Risk Minimization
Mixup vs. SamplePairing：ICLR2018投稿论文的两种数据增广方式
Paper weekly
03-06 2060
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。这是 PaperDaily 的第 47 篇文章关于作者：陈泰红，小米高级算法工程师，研究方向为人脸检测识别，手势识别与跟踪。■ 论文 | mixup: Beyond Empiric
ICLR2018_mixup: Beyond Empirical Risk Minimization
weixin_30794851的博客
03-07 341
作者 Hongyi Zhang 张宏毅 @ 张宏毅知乎 北大->MIT 论文所属FAIR Abstract 深度神经网络有些不好的行为：强记忆和对对抗样本敏感 Christian Szegedy等人在ICLR2014发表的论文中，他们提出了对抗样本（Adversarial examples）的概念，即在数据集中通过故意添加细微的干扰所形成的输入样本，受干扰之...
一种数据增强方式 mixup: BEYOND EMPIRICAL RISK MINIMIZATION
weixin_48654804的博客
09-16 359
mixup: BEYOND EMPIRICAL RISK MINIMIZATION 这是ICLR2018的论文。 https://arxiv.org/abs/1710.09412 从本质上来说，mixup是在一对训练样本和标签的凸组合上训练神经网络。 众所周知，在监督学习中，训练样本是一对(xi,yi)(x_i,y_i)(xi​,yi​)。 mixup的做法就是随机抽取两个样本，然后对其进行插值。 代码也非常简单。 但是效果就是很好。还发了顶会。 mixup的做法，导致决策边界从一个类线性过度到另一个类
mixup: BEYOND EMPIRICAL RISK MINIMIZATION 小笔记
哇哇的博客
12-01 1126
概述 文章指出一些成功的神经网络所有的两个共同点：首先是会拟合一个训练集，其次是模型规模随着数据集样本增多而增大。同时也指出一些问题：一是尽管在很强的正则化下，模型也可以记住训练数据，而不是根据泛化得到；二是模型容易被对抗样本攻击。 方法 因此提出MixUp数据增强方法： 其中x, y是数据集中的随机样本。 MixUp作用理解 MixUp扩展了训练数据集的分布，相当于告诉模型，训练样本的线性组合，对应的gt也是线性组合，让模型认为样本间的区域也应该是线性区域，降低了模型在训练样本分布区域中间可能的过拟合震荡
mixup：BEYOND EMPIRICAL RISK MINIMIZATION 阅读笔记
print_lzp的博客
11-04 688
简介： 大型深度神经网络是非常强大的，但其损耗巨大的内存以及对对抗样本的敏感性一直不太理想 因而作者提出了一种一个简单地减缓两种问题的方案。研究结果表明，mixup可以改进当前最先进的神经网络架构的泛化能力。mixup还能够减少对错误标签的记忆，增加对抗样本的鲁棒性，并能够稳定对生成对抗网络的训练过程。 mixup 和上一篇像素平均的方法类似，构建了虚拟的训练样本，即构建为训练集中的两个随机样本及其标签的线性插值，mixup有助于有助于消除对错误标签的记忆、对对抗样本的敏感性以及对抗训练的不稳定性。 从训练
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值