mixup:超越经验风险最小化

论文原文：Zhang H, Cisse M, Dauphin Y N, et al. mixup: Beyond Empirical Risk Minimization[J]. 2017.

原文链接：https://arxiv.org/abs/1710.09412

---------------------------------------------------------------------------------------------------------------------------------------

1.摘要

        大型深度神经网络是非常强大的，但在记忆和针对对抗样本的敏感性上却表现地不太理想。在这项研究中，我们提出了mixup，它是一个用以解决这些问题的简单学习原则。实质上，mixup是在样本对和其标签的凸组合（convex combinations）上训练神经网络的。通过这样做，mixup将神经网络正规化以支持训练样本之间的简单线性行为。我们分别在ImageNet-2012、CIFAR-10、CIFAR-100、Google命令和UCI数据集上进行试验，研究结果表明，mixup可以改进当前最先进的神经网络架构的泛化能力。我们还发现，mixup能够减少对错误标签的记忆，增加对抗样本的健壮性，并能够稳定对生成对抗网络的训练过程。

2.引入

        大型深度神经网络在计算机视觉（Krizhevsky 等人于2012年提出）、语音识别（Hinton 等人于2012年提出）和强化学习（Silver等人于2016年提出）等领域均实现了突破性发展。在大多数的成功应用中，这些神经网络有两个共同点：首先，它们进行训练以将其训练数据的平均误差最小化，这种学习规则也被称为经验风险最小化（Empirical Risk Minimization，ERM）原则（Vapnik于1998年提出）；其次，这些当前最先进的神经网络的大小与训练样本的数量呈线性关系。例如，Springenberg等人（于2015年提出）的网络使用10^6个参数来对CIFAR-10数据集中的5×10^4个图像进行建模，Simonyan和Zisserman（于2015年提出）的网络使用10^8个参数来对ImageNet-2012数据集中的10^6个图像进行建模，Chelba等人（于2013年提出）的网络使用2×10^10个参数对十亿单词（One Billion Word）数据集中的10^9个单词进行建模。

        引人注目的是，学习理论（Vapnik和Chervonenkis于1971年提出）的经典结果告诉我们，只要学习机器（如神经网络）的大小不随着训练数据数量的增加而增加，那么ERM的收敛性就是可以得到保证的。其中，学习机器的大小是根据其参数数量，或相关地，根据其VC复杂度（Harvey等人于2017年提出）来衡量的。

        这一矛盾挑战了ERM训练当前神经网络模型的适应性，正如在最近的研究中所强调的那样。一方面，ERM允许大型神经网络记忆（而不是从中泛化）训练数据，即使是在强正则化，或是标签是随机分配的分类问题（Zhang等人于2017年提出）中。另一方面，在对训练分布之外的样本（也被称之为对抗样本）进行评估时，用ERM训练的神经网络会彻底地改变其预测结果（Szegedy等人于2014年提出）。这一证据表明，当测试分布与训练数据略有不同时，ERM便无法对其进行解释或为其提供泛化。那么，ERM的替代方案是什么呢？