SSL论文笔记（数据增广）：RandAugment

Abstract

日前，自动化增广策略帮助图像分类和目标检测实现了SOTA结果，且也帮助了半监督学习领域并提升了鲁棒性

但是由于需要一个单独的搜索阶段，存在两个问题：

• 增加了训练复杂性和计算代价
• 不能基于模型容量或者数据集大小去调整正则化强度

本文解决了上述困境，显著缩小了搜索空间（仅有两个超参），以此完全消除了在一个单独的代理任务上的搜索阶段，构建了模型参数和数据增广的统一优化策略。

Introduction

数据增广方法需要专业知识，以及手工工作来设计策略，以获取每个领域中的先验知识。这种需求使得将现有的数据增强方法扩展到其他应用程序和领域变得很困难。

learned policies for data augmentation to automate the design of augmentation strategies

优点：提升准确性，模型鲁棒性和半监督学习的性能；并且不会引入测试阶段的额外复杂度【通用】

缺点：计算需求以及两个单独的优化过程的额外复杂性令人望而却步（类似NAS）

目前自动化数据增广的原始范式是假设对一个小的代理任务进行单独搜索，代理任务的结果可能被转移到一个较大的目标任务。这个范式依托于一个强有力的假设：代理任务提供了更大任务的预测指示。

但是本文提供了实验证据挑战这个核心假设，并说明这个策略是次优的（详见贡献第一点）。

Contribution：

• 本文