WXK+ 分布外鲁邦 AugMax: Adversarial Composition of Random Augmentations for Robust Training

最新推荐文章于 2024-09-03 07:41:18 发布

hoix

最新推荐文章于 2024-09-03 07:41:18 发布

阅读量1.8k

点赞数

分类专栏：读论文文章标签：深度学习机器学习

本文链接：https://blog.csdn.net/weixin_43888621/article/details/122261612

版权

AugMax结合随机增强和对抗训练，通过学习对抗性组合来提升模型的鲁棒性。文章介绍了数据增强的多样性与困难性，并提出DuBIN正则化方法解决增强带来的样本层次异质性问题。实验证明，该方法在提高模型对抗鲁棒性方面取得一定成效。

摘要由CSDN通过智能技术生成

读NIPS 2021论文 AugMax: Adversarial Composition of Random Augmentations for Robust Training

摘要

数据增强是提高鲁棒性的一个简单有效之法。diversity和hardness是数据增强的两大需要考量的分支。AugMix使用多种的增强方法来加强收敛，而对抗训练通过生成困难的对抗样本来spot the weakness。由此启示，作者提出AugMax来统一多样性和困难性，具体是先随机多种增强算子，然后learn an adverdarial mixture of 这些算子。因为这样的数据增强，网络的训练也变得困难，于是作者又提出了一个特殊的正则化方法，Dual-Batch-and-Instance（DuBIN）。实验显示所提出的数据增强和正则化，能提高out-of-distribution的鲁棒性。

介绍

提高ood的鲁棒性的目前的方法有 including robust data augmentation [5, 3, 8, 6], Lipschitz continuity [9–11], stability training [12], pre-training [13–16], and robust network structures [17–19], to name a few.

其中数据增强是经验上最有效的，容易实现，计算难度低，即插即用。

数据增强分成两大类，分别关于多样性，和困难性。

1）第一种数据增强，提高多样性。传统的方法有旋转，平移等等，但是这些方法无法增强对抗鲁棒性。AugMix是一种更好的数据增强，它从多种增强方法中随机采样，然后综合采样出来的增强方法。