本文提出的
AutoAugment
方法可以依据验证集上的损失值自动选择数据增强策略。
问题描述
数据增强基于已有的训练样本数据生成更多的训练数据,其目的就是为了使扩增的训练数据尽可能接近真实分布的数据,从而提高模型的泛化能力。数据增强分为2类:有监督的数据增强和无监督的数据增强。其中有监督的数据增强分为单样本数据增强和多样本数据增强;无监督的数据增强分为生成新的数据和数据增强策略。 本篇论文到方法属于第2类数据增强中的数据增强策略。
AutoAugment
提出了一种自动数据增强的方法,通过验证集上的损失函数来指示数据增强的策略。
解决思想
policy gradient
训练方法中损失函数引入validation set
上的损失值
θ
=
θ
+
α
∇
θ
(
S
)
×
R
\theta=\theta+\alpha \nabla_\theta(S)\times R
θ=θ+α∇θ(S)×R
具体实现
controller
输出一个strategy(operation, magnitude, probability)
,其模型结构是循环神经网络,一个输出是下一层的输入,经过30个softmax层后即可以获得5个sub-policy。
为什么有效
以下游任务准确性提升为目标训练,与GAN相比更有可解释性。
参考
[1] policy gradient方法
[2]Proximal Policy Optimization (PPO)详解