《AutoAugment: Learning Augmentation Strategies from Data》笔记

Introduction

数据增强是提高分类模型精度的有效方法。大多数模型训练方法只是简单的使用数据增强方法，而没有探究该如何组合数据增强方法以获得最优的效果。该论文受到网络结构搜索方法的启发，搜索最优的数据增强方法。该论文定义了一个搜索空间，里面包括不同数据增强方法，称为子策略，然后用强化学习的方法从搜索空间中找到最优的策略。这种搜索数据增强策略的方法，称为AutoAugment。

该方法有两种优点：

• 直接使用。在对某一个数据集训练分类模型时，直接使用AutoAugment方法，自动找到最优的数据增强策略，提高分类模型分类精度。
• 迁移。把在一种数据集上得到的最优数据增强策略应用到其他数据集上，同样能够提高分类模型的精度。

Method

AutoAugment方法包括两个部分，分别是搜索算法（search algorithm）和搜索空间（search space）。搜索算法是一个控制器RNN，用于从搜索空间中选择一个策略S。然后用该策略的数据增强方法来训练一个分类模型。接着把训练得到的分类模型在验证集上的分类精度R看作是一个反馈，用于更新控制器RNN的参数。

AutoAugment的训练流程如下

Search Space

首先说一下AutoAugment的搜索空间。在AutoAugment方