AutoDL——自动数据增强

人工智能文献记录专栏，专栏地址：https://blog.csdn.net/u014157632/category_9760481.html，总目录：https://blog.csdn.net/u014157632/article/details/104578738。不定期更新

2020

• Circumventing Outliers of AutoAugment with Knowledge Distillation
• Li Y , Hu G , Wang Y , et al. DADA: Differentiable Automatic Data Augmentation[J]. 2020.

2019

• Cubuk E D , Zoph B , Mane D , et al. AutoAugment: Learning Augmentation Policies from Data[J]. 2018.
  AutoAugement的开篇之作，使用RNN作为控制器，采样数据增强策略，包括：哪一个数据增强的操作、使用此操作的概率、此操作的数值大小。搜索空间：一个策略包括5个子策略，每个子策略包含两个操作。验证集的准确率作为奖励，控制器用Proximal Policy Optimization algorithm训练。
• Lin C , Guo M , Li C , et al. Online Hyper-parameter Learning for Auto-Augmentation Strategy[J]. 2019.
  数据增强的分布参数theta看作超参，F为参数w定义的神经网络；在内层循环中训练N个网络，由他们的准确率，用强化学习计算平均梯度
• Ho D , Liang E , Stoica I , et al. Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules[J]. 2019.
  基于种群的数据增强PBT。PBT的输出不是一个最优策略配置的形式，而是一个超参数的schedule
• Lim S , Kim I , Kim T , et al. Fast AutoAugment[J]. 2019.
  密度匹配，使训练集的密度和增强后的验证集的密度相匹配，我们通过使用两个数据集在模型上的预测来测量一个数据集遵循了多少另一个数据集的模式。首先使用k折交叉验证的方式将训练集划分为k份，每份包含Dm和Da。然后对于每一折，在数据增强的情况下用Dm从头训练模型。训练完后，搜索T步，每步用贝叶斯优化搜索B个候选策略，然后选取前N个。k折结束后，将每折选取的前N个合并起来
• Zhang X , Wang Q , Zhang J , et al. Adversarial AutoAugment[J]. 2019.
  这里使用策略网络（RNN，就是autoaa那篇里的控制器）作为adversary，通过对抗学习增加目标网络的损失。目标网络是由大-batch的增强数据训练，在同一数据上用的数据增强产生的损失通过强化学习来训练策略网络
• Naghizadeh A, Abavisani M, Metaxas D N. Greedy AutoAugment[J]. arXiv preprint arXiv:1908.00704, 2019.
• Cubuk E D , Zoph B , Shlens J , et al. RandAugment: Practical automated data augmentation with a reduced search space[J]. 2019.