CVPR2020 | 利用NAS搜索针对对抗攻击的鲁棒神经网络结构

 

本文介绍CVPR 2020 论文 When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks ，利用NAS搜索针对对抗攻击的鲁棒神经网络结构。

作者来自港中文多媒体实验室和麻省理工。

导读：

深度神经网络容易受到对抗样本攻击：在对抗攻击下，自然数据（如图像）会受到人类难以察觉的对抗噪声干扰，从而使得神经网络产生完全错误的输出。为了提高网络的鲁棒性，研究者们提出了大量对抗防御的方法，其中的主要关注点包括对抗学习算法，损失/正则化函数，以及图像预处理等。

然而，还没有相关研究探讨过与现有防御机制的一个正交的方面：神经网络结构本身对其抵御对抗样本的影响。在这项工作中，我们尝试从神经网络结构的角度去系统地分析、理解神经网络的对抗鲁棒性。 我们搜索并设计了一系列鲁棒的网络结构，称为RobNets。我们在CIFAR，SVHN，Tiny-ImageNet和ImageNet等数据集上进行大量实验，结构表明RobNets相比与广泛使用的网络结构，在对抗攻击下具有更好的鲁棒性。

1

提问

具体来说，我们旨在回答以下问题：

1. 什么样的神经网络结构模式是对于对抗鲁棒性是至关重要的？

2. 给定一定模型容量的预算，如何分配网络结构的参数以有效地提高网络的鲁棒性？

3. 鲁棒的神经网络结构的统计指标是什么？

 

为了回答上述问题，我们需要训练大量具有不同网络结构的神经网络，并评估其鲁棒性以得出结论。然而，这个过程非常耗时，尤其当我们需要引入对抗训练。针对这个问题，我们提出采用One shot神经网络结构搜索（NAS）的方法，使得我们可以同时一次性在众多网络结构之间评估鲁棒性。

具体来说，我们首先训练一个super-net，然后我们从中对网络结构进行采样，并对候选子网络finetune几个epoch，以在对抗攻击下获得较高的鲁棒性。

2

方法

1 搜索框架

➤ 鲁棒搜索空间

我们的工作与传统NAS工作在搜索空间上的主要区别在于两个方面：

1）我们减少了搜索空间中候选操作总数，仅剩下：3×3 depth convolution，identity和zero三种操作。这有助于减轻对抗训练的负担，同时在搜索空间中保留足够多的候选网络结构。

2）我们不限制两个中间节点之间的最大操作数（可以多于一种操作，如同时有convolution和identityÿ