对抗性鲁棒性与模型压缩：ICCV2019论文解析

对抗性鲁棒性与模型压缩：ICCV2019论文解析

Adversarial Robustness vs. Model
Compression, or Both?

论文链接：

http://openaccess.thecvf.com/content_ICCV_2019/papers/Ye_Adversarial_Robustness_vs._Model_Compression_or_Both_ICCV_2019_paper.pdf

Code is available at
https://github.com/yeshaokai/ Robustness-Aware-Pruning-ADMM.

摘要

众所周知，深度神经网络（DNNs）容易受到敌方攻击，这种攻击是通过在良性示例中添加精心设计的扰动来实现的。基于最小-最大鲁棒优化的对抗性训练可以提供对抗性攻击的安全性概念。然而，对抗性稳健性要求网络的容量比只有良性例子的自然训练的容量要大得多。本文提出了一种并行对抗训练和权值剪枝的框架，在保持对抗鲁棒性的前提下实现模型压缩，从本质上解决了对抗训练的难题。此外，本文还研究了两个关于传统环境下权值剪枝的假设，发现权值剪枝对于减少对抗环境下的网络模型规模是至关重要的；从无到有地训练一个小模型，即使是从大模型中继承初始化，也不能达到对抗鲁棒性和高性能标准精度。

1. Introduction

本文的动机是研究是否以及如何通过减轻网络容量需求来促进主动防御技术，即对抗性训练。图1描述了CIFAR数据集上VGG-16网络的权重分布。本文测试了VGG-16网络的原始尺寸、1/2尺寸和1/4尺寸的标准精度和对抗精度。本文有以下观察：（i）较小的模型尺寸（网络容量）表明，对抗训练模型的标准精度和对抗精度都较低。（ii）对手方训练的模型比自然训练的模型稀疏（零权重更少）。因此，在对抗训练之前进行预剪枝并不是一个可行的解决方案，而且似乎更难剪枝一个对抗训练的模型。本文试图回答这样一个问题：本文是否可以同时享受对抗鲁棒性和模型压缩。基本上，本文将权值剪枝和对抗训练结合起来，使安全关键应用在资源受限的系统中。

本文的贡献

本文建立了一个框架，通过实施并行的权值剪枝和对抗训练来实现对抗性稳健性和模型压缩。

具体来说，本文在本文的框架中使用基于ADMM（乘法器交替方向法）的剪枝[50，51]，因为它与对抗训练兼容。

更重要的是，基于ADMM的剪枝具有普遍性，它支持不规则剪枝和不同类型的规则剪枝，这样本文可以很容易地在不同的剪枝方案之间切换为了公平比较。

最终，本文的框架解决了对抗训练的困境。

本文还研究了针对传统模型压缩设置提出的两个关于权重剪枝的假设，并通过实验验证了它们对于对抗性训练设置的有效性。

研究发现，权值剪枝对于在对抗环境下减小网络模型的规模是至关重要的，从无到有地训练小模型，即使从大模型继承初始化，也不能同时达到对抗鲁棒性和高标准精度。

利用提出的并行对抗训练和权值剪枝框架ÿ