cut out数据增强_反思图像超分辨率的数据增强：综合分析和新战略

一、 摘要

数据增强是提高深度网络性能的有效方法。不幸的是，当前的方法主要是针对高层视觉任务(例如分类)，很少研究低层视觉任务(图像恢复)。在本文中，我们对应用于超分辨率任务的现有增强方法进行了全面分析。我们发现丢弃或调整像素及特征的现有方法过多地阻碍了图像恢复，因为空间关系非常重要。根据我们的分析，我们建议使用 CutBlur，剪切低分辨率的补丁并将其粘贴到相应的高分辨率图像区域，反之亦然。 CutBlur 的主要目的是使模型不仅学习“如何”而且还学习“在何处”提高图片的分辨率。模型可以借此了解“多少”而不是盲目地学习对每个给定像素应用超分辨率。我们的方法可以在各种情况下一致且显着地提高性能，特别是当模型很大且数据从现实环境中收集。我们还表明，我们的方法优化了其他低层视觉任务，例如降噪和压缩伪像去除。

二、 介绍

数据增强(DA)是在测试阶段无需增加计算成本即可增强模型性能的最实用方法之一，但低层视觉领域的相关研究较少。同时，许多图像恢复研究，例如超分辨率(SR)都依赖于合成数据集[22]，为此我们可以通过模拟系统退化函数(例如双三次核 SR)增加训练样本的数量。

然而，由于模拟数据分布与实际数据分布之间存在差距，因此在模拟数据集上训练的模型存在泛化性问题，有一些研究试图采用现实世界数据补全数据集，但成本过高。为了更好地认识低层视觉领域的 DA 方法，我们对高层视觉任务 DA 方法的效果进行了综合分析(第 2 节)。我们发现直接应用于 SISR 时某些方法会损害图像恢复结果，甚至会妨碍训练，尤其是当一种方法在很大程度上导致附近像素之间的空间信息丢失或混乱时(Cutout 和特征域方法)。有趣的是，诸如 RGB 排列之类的基本操作不会引起严重的空间失真，比那些引发不真实图案或结构急剧转变的操作(Mixup 和