CVPR2018论文笔记: Robust Physical-World Attacks on Deep Learning Visual Classification

论文百篇计划第二篇，cvpr2018的一篇文章，引用量1800。作者来自密歇根大学安娜堡分校。

最近的研究表明目前DNN容易收到对抗样本的攻击，理解物理世界中的对抗样本对发展弹性学习算法非常重要。我们提出种通用的攻击算法，Robust Physical Perturbation（RP2），生成鲁棒的对抗样本在不同的物理环境下。针对道路标志牌的攻击表明，我们的物理攻击能够在多种环境条件下实现较高的准确率。由于缺少标准的测试方法，我们提出两阶段的评估方法，包括实验室阶段和野外阶段。通过这种方法，我们评估了有效性，100% 在实验室环境下，84.8%在野外。

1. 介绍

选择道路标志牌的原因：（1） 相对简单，因此更难攻击。（2）存在一个噪声无约束的环境，例如距离和角度。（3）标志牌对道路安全很重要。（4） 攻击者能力有限，攻击不了车辆本身。

在物理噪声环境下，目前的digital-only algorithms产生的噪声可能被破坏。对道路标志牌来说，主要环境变量是距离和角度。其他挑战包括：

（1） 扰动幅度太小导致摄像机捕捉不到。

（2） 目前的攻击占满整个背景，在现实中，背景会随着视角变化。

（3）制造过程的不完美。比如打印过程。

为了创造鲁棒的噪声，我们提出通过实验拘束或者合成的变换，从一个分布中采样，来模拟物理的动态变化（比如距离或者角度）。 pipeline overview如下图所示：

使用提出的算法，我们评估了扰动在物理物体上的有效性，实现表明我们可以使用低成本的技术修改物体，对DNN分类器造成可靠的分类误差。例如我们可以讲物理标识修改成限速标志。我们设计我们的扰动类似于涂鸦，从而不会引起人的怀疑。

由于缺乏一个标准来评估物理攻击，我们提出一种标准：（1） 实验室环境，摄像机在多个距离和视角变化。（2）野外。我们开一辆车驶向十字路口。模拟自动驾驶汽车。我们测试我们的攻击算法使用这个pipeline，发现我们的攻击是鲁棒的。

本文的贡献：

1. 我们提出了一种新的攻击方法用于鲁棒的物理扰动。在一系列动态物理环境下。

2.提出了标准化的评估方法。

3. 我们评估了我们的攻击针对两个标准化的分类架构： LISA- CNN和GTSRB CNN。使用两种攻击（poster 攻击和sticker 攻击）， 我们表明poster攻击在静态到达100% 在drive-by达到了80%。

4。 为了证明通用性，我们将一张贴纸放在微波炉上，让其被识别成手机。

2. 相关工作

Kurakin表明打印的对抗样本依然可以被误分类。Athalye和Sutskever提高了这个工作， 生成对抗样本对两个维度的合成变换鲁棒。（参见Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok Proceedings of the 35th International Conference on Machine Learning, PMLR 80:284-293, 2018. 引用量1148，打印海龟就是出自这篇文章）本文进一步研究了当环境变化时，攻击的可行性。我们的poster attack类似于Athalye的攻击，但我们进一步探究了sticker攻击。Athalye还3D打印了物体，但主要区别在于：（1）Athelye的工作在优化的过程中主要使用了合成的变换，可能会错过微小的物理影响。我们的工作同时考虑了物理和合成的变换。（2）我们的工作修改了真实大小的物体，（3）我们模拟了更真实的测试条件

Sharif攻击人脸识别系统通过打印眼镜框。他们的工作表明成功的物理攻击在相对稳定的物理条件，包括小的姿态变化，摄像机的距离和角度，光照。但自动驾驶的变化更巨大，因此我们选择固有的无约束的环境条件。

Lu等人通过道路标识牌实验说明道路标识牌的detector不能被攻击成功，在我们的工作中，我们专注于classifier的攻击，表明他们的安全脆弱性。

3. 针对物理目标的攻击

3.1 物理挑战

环境条件： 距离角度，光照，照相机和信号牌的灰尘

空间约束：不能修改背景

物理限制：扰动不能太小，不然摄像机捕捉不到。

制造误差：打印机可能有色差

3.2 鲁棒的物理扰动

原始的目标函数可以写成：

 其中J(.,.) 是衡量模型预测和目标标签之间的差别，\gamma是正则化系数。

为了模拟真实的物理变化，我们在优化过程中，从一组真实的照片中采样。对于合成的变化，我们随机裁剪，改变亮度和增加空间变化来仿真其他可能的条件。

为了保证扰动只添加在目标区域，我们引入了一个mask，mask还帮助我们生成对人眼不明显的扰动。为了确定mask的最佳区域，首先用L1损失找到最佳的mask的点，然后用L2损失确定这些点的值。（为什么L1可以减少非零点的个数，可以参看https://zhuanlan.zhihu.com/p/301289487）为了计入制造误差，我们添加了一个不可打印分数NPS（参见sharif）的论文，最终的计算损失函数为

T(.) 是一个对齐函数，将对标识牌的变换同样应用到扰动上。

4. 实验

4.1 实验设计：

数据集采用LISA和GTSRB数据集，这两个数据集都是交通信号的数据集。我们设计了两阶段的评估方法，第一个阶段是实验室环境下，第二个阶段是野外测试。

4.2 实验结果