论文阅读—Targeted Attention Attack on Deep Learning Models in Road Sign Recognition

论文阅读—Targeted Attention Attack on Deep Learning Models in Road Sign Recognition （TAA）

发表期刊和时间
IEEE Internet of Things Journal 2021

摘要

物理世界的交通标志识别是制造自动驾驶汽车的重要一步，但大多数自动驾驶汽车都高度依赖于深度神经网络。然而，最近的研究表明，深度神经网络对对抗样本非常敏感。许多攻击方法被提出来理解和生成对抗样本，如基于梯度的攻击、基于分数的攻击、基于决策的攻击和基于转移的攻击。然而，因为迭代学习每帧摄动对于快速移动的汽车是不现实的且大多数优化算法平均遍历所有像素，先前的研究方法并未解决上述问题，因此上述大多数攻击方法针对物理世界的交通标志是无效的。为了缓解这些问题，作者提出了一种针对真实世界路标攻击的目标注意攻击(TAA)方法。

背景

物联网在智能交通控制和智慧城市中的应用高度依赖智能自动驾驶车辆。交通标志识别是这类物联网驾驶员辅助系统的核心功能。深度神经网络在2011年交通标志识别竞赛中获得了最佳表现，很可能成为未来自动驾驶汽车的应用。然而，最近的研究表明，如果输入数据稍微受到干扰，深度神经网络往往会给出一个具有高度可信度的错误预测。这些干扰对人类来说是难以察觉的，但它们对深度神经网络的的影响通常是灾难性的。这种现象使得深度神经网络在现实世界的应用中面临着巨大的挑战，特别是在现实世界中的交通标志识别[15]中。例如，下图显示了一个受到灰度扰动攻击的停止标志。这种扰动自然被认为是人类驾驶员的涂鸦或树影，但它们成功地误导了训练良好的卷积神经网络分类器，将停止标志错误分类到SpeedLimit45。这可能会造成不可弥补的生命和财产损失，因为汽车将继续以有限的速度行驶，而不是完全刹车。因此，研究可能的攻击方法，确保自动驾驶汽车在遭受攻击前免疫这些攻击是非常重要的。

具体方案

面临的挑战：

一辆自动驾驶汽车经过一个“停止”标志，并通过移动的相机收集一些数字图像。在将每幅图像输入分类器之前，对其进行迭代优化几乎是不可行的。在这种情况下，作者的目标是学习所有收集到的图像的通用扰动，而不是实现特定于图像的攻击。然而，同样的Stop标志，当从不同的距离和角度拍摄时，会有很大的差异。一些特殊的背景和光线甚至导致道路标志几乎不可见。理想的攻击方法应该是在不同的环境条件下有效的。

方案

下图给出了TAA的框架。该图中的左半部分，TAA利用RAN提取软注意图，比RP2中使用的L1-mask产生更小的扰动和更高的愚弄率。该图中的右半部分，TAA使用一组训练图像来优化扰动，而不是基于单个图像来适应真实世界的情况

作者的TAA模型中，

X = { x i ∈ R m × n } i = 1 N X = \{ {x_i} \in {R^{m \times n}}\} _{i = 1}^N X={xi​∈Rm×n}i=1N​,

X = { X l } l = 1 L X = \{ {X_l}\} _{l = 1}^L X={Xl​}l=1L​

其中， N表示N表示N个道路图片，L表示L个类别。

具体实现步骤

（1）Soft attention map 映射—寻找重要地特征

作者使用RAN [1] 叠加多个注意力模块来提取图像特征进行分类。RAN 中包含两个分支，Trunk分支和Mask分支。在本研究中，作者使用92层RAN (attention-92)，它包含3个注意阶段，总共包含6个注意力模块。以第一个注意模块为例，给定输入$x_i^1$，可得，

$H_{1,c}(x_i^1)=(1+M_{1,c}(x_i^1))\cdot T_{1,c}(x_i^1)$

其中，$M_{1,c}(x_i^1)$表示RAN的Mask分支，$T_{1,c}(x_i^1)$表示RAN 的Trunk分支，{1,c}表示第1个注意力模块，c表示第从个信道， c ∈ { 1 , 2 , ⋯   , C 1 } c \in \{ 1,2, \cdots ,{C_1}\} c∈{1,2,⋯,C1​}。第一注意模块的输出作为第二注意模块的输入。

RAN经过端对端的训练之后，不同的注意模块将会有不同的注意力表现。例如，低级注意模块只减少背景特征，而高级注意模块更多地关注对分类真正重要的部分特征。

为了实现更准确的攻击，作者从最后一个attention module 中选择attention map $H_{j,c}(x_i^j)$，j=6。经作者实验证明，$H_{j,c}(x_i^j)$比$M_{j,c}(x_i^j)$更具有区分性，因此，在本文中使用$H_{j,c}(x_i^j)$作为soft attention map。 通过设置最后一层通道的数量，$C_4=C_5=C_6=1$，可得N个针对注意力样本的 attention map { H j ( x i j ) } i = 1 N \{ {H_j}(x_i^j)\} _{i = 1}^N {Hj​(xij​)}i=1N​。

考虑到使用一个扰动来攻击一个类的现实情况，每个类的 attention map应该是相同的。作者从欧几里得距离的角度出发，选取了最接近average map的一个 attention map，即，

$\underset{H_j(x_i^j),x_i^j\in X_l}{\mathrm{argmin}}||\mathrm{A}\mathrm{v}\mathrm{e}(H_j(X_i^j))-H_j(x_i^j)|{|}_2$

其中，$X_l$表示X的子集，包含了所有属于第l个类的$x_i$。Ave()表示average map，$H(x_l^{opt})$表示最优的attention map。最后L个attention map 的利用二项插值将自身大小调整为m*n。

$A_l=Bilinear(H(x_l^{opt})),l=1\cdots L$

其中，$A_l\in R^{m\times n}$表示第l个类的sotf attention map。在$A_l$中，不同的区域有不同的attention weight，其值为0~1，用于区分对于不同类别的贡献

（2）扰动优化

优化目标：

$\underset{\delta ,x_i\in X_l^{train}}{\mathrm{argmin}}D(x_i,x_i+\delta ),s.t.,f_{\theta }(x_i+\delta )=y^{\ast }$

其中，$t=\arg \max (y^{\ast })$，D为距离函数。上述优化问题可使用拉格朗西函数转换如下：

$\underset{\delta ,x_i\in X_l^{train}}{\mathrm{argmin}}\lambda ||\delta |{|}_p+E_{x_i\sim X_l^{train}}J(f_{\theta }(x_i+\delta ),y^{\ast })$

其中，J（）表示损失函数。

TAA通过 $A_t\cdot \delta$ 来实现注意力攻击，则上述优化目标可转化为：

$\underset{\delta }{\mathrm{argmin}}\lambda ||A\cdot \delta |{|}_p+E_{x_i\sim X_l^{train}}J(f_{\theta }(x_i+\delta ),y^{\ast })$

实验

目标模型：三层卷积神经网络
评价指标：扰动损失、攻击成功率、数据迁移性、模型迁移性、模型泛化性和真实世界攻击
对比方法：Salt-pepper attack[2]、 Contrast reduction attack[3]、Gaussian blur attack[4]、Pointwise attack[7]、FGSM[5] 、Boundary attack[6]和RP2[8]
论文代码：https://github.com/AdvAttack/RoadSignAttack.

参考文献

[1] F. Wang, M. Jiang, C. Qian, S. Yang, C. Li, H. Zhang, X. Wang, and X. Tang, “Residual attention network for image classification,” in Proceedings of the IEEE Conference on Conference on Computer Vision and Pattern Recognition, 2017, pp. 3156–3164.
[2] R. H. Chan, C.-W. Ho, and M. Nikolova, “Salt-and-pepper noise removal
by median-type noise detectors and detail-preserving regularization,”
IEEE Transactions on image processing, vol. 14, no. 10, pp. 1479–1485,
2005.
[3] J. Rauber, W. Brendel, and M. Bethge, “Foolbox: A python toolbox to
benchmark the robustness of machine learning models,” arXiv preprint
arXiv:1707.04131, 2017.
[4] E. Reinhard, W. Heidrich, P. Debevec, S. Pattanaik, G. Ward, and
K. Myszkowski, High dynamic range imaging: acquisition, display, and
image-based lighting. Morgan Kaufmann, 2010.
[5] I. J. Goodfellow, J. Shlens, and C. Szegedy, “Explaining and harnessing
adversarial examples,” arXiv preprint arXiv:1412.6572, 2014.
[6] W. Brendel, J. Rauber, and M. Bethge, “Decision-based adversarial
attacks: Reliable attacks against black-box machine learning models,”
in International Conference on Learning Representations, 2018.
[7] L. Schott, J. Rauber, M. Bethge, and W. Brendel, “Towards the first
adversarially robust neural network model on MNIST,” in International
Conference on Learning Representations, 2019.
[8] K. Eykholt, I. Evtimov, E. Fernandes, B. Li, A. Rahmati, C. Xiao,
A. Prakash, T. Kohno, and D. Song, “Robust physical-world attacks
on deep learning visual classification,” in Proceedings of the IEEE
Conference on Conference on Computer Vision and Pattern Recognition,
2018, pp. 1625–1634.