NetAug——增强Tiny-model的训练效果

Paper地址：https://arxiv.org/abs/2110.08890

前言

通常当深度学习模型的参数规模较大，甚至大于数据集规模时（例如ResNet50与ImageNet2012-1K），常规模型训练容易陷入过拟合状态（Over-fitting）。因此可引入一系列训练增强技巧（正则化技术）、以增强训练效果，诸如Data Augmentation与Dropout等技术：Data Augmentation通过对采样数据施加变换操作，能够引入数据噪声（如高斯白噪声、随机旋转、随机裁剪、随机Resize等），起到泛化应用场景、扩增数据的作用；Dropout通过对模型施加随机噪声，一定程度上起到子网络随机采样、增强预训练效果的作用。

NetAug（Network Augmentation）则通过增强模型、而非增强数据的方式，以实现Tiny-model训练效果的提升，使Tiny-model在一定程度上摆脱训练的欠拟合状态（Under-fitting）。与Dropout相反的是，NetAug通过扩增模型的宽度、增加了模型的参数量，结合Augmented-model的辅助训练，为Tiny-model的参数更新引入了额外的监督信息。