[深度学习论文笔记][ICLR 18]mixup: BEYOND EMPIRICAL RISK MINIMIZATION

[ICLR 18]mixup: BEYOND EMPIRICAL RISK MINIMIZATION

Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin and David Lopez-Paz

from MIT & FAIR

paper link

Overview

这篇文章提出了一种新的数据扩展方法。该方法简单有效。同时作者在文章中进行了详细的理论分析和实验分析，很有阅读价值。

Motivation

从ERM到VRM

当前网络优化方法大多遵循经验风险最小化方法(Empirical Risk Minimization, ERM)，即使用采样的样本来估计训练集整体误差。一个对ERM的简明解释可以参考这里。[1]的研究证明模型体量固定，数据量足够，即可保证使用ERM时训练的收敛性。如今网络体量都很大，这就造成：

1. 网络倾向于记忆训练样板，而不是泛化[2]；
2. 难以抵御分布外样本，如肉眼感官没有区别的对抗样本[3]。

解决这一问题的一个途径就是使用邻域风险最小化原则(Vicinal Risk Minimization, VRM)，即通过先验知识构造训练样本在训练集分布上的邻域值。通常做法就是传统的数据拓展，如翻转，旋转，放缩等。但是这种做法过于依赖特定数据库，此外需要人类的先验知识 。

Method

本文的贡献是提出一种新的数据扩展方式，即使用线性插值的方法得到新的扩展数据。假设 (x