黑盒攻击的分类_高效的基于决策的黑箱对抗攻击的人脸识别

引言

针对当前的深度神经网络在人脸识别方面的应用，存在很多不安全的隐患，作者提出了一种针对深度神经网络的黑盒攻击攻击方法，提出了一种新的基于遗传算法的攻击方法，数据集：Wild (LFW) and MegaFace实验结果表明：

这种攻击方法即使在限制对模型的查询次数也很有效，并且将其用于真实的人脸识别环境中，也攻击成功了。

1、介绍

本文的主要贡献

（1）提出了一个在基于决策的黑盒场景下的进化攻击方法，可以对搜索方向的局部几何进行建模，同时降低搜索空间的维度。

（2）利用基于决策的黑盒攻击方法，对几种最先进的人脸识别模型（SphereFace, CosFace, ArcFace）做了鲁棒性测评，并展示了这些人脸模型的脆弱性。

（3）通过对真实世界中的人脸识别系统进行攻击，展示了提出的方法的实际适用性

2、Background and related work

2.1 人脸识别

人脸识别中有两个子任务：

（1） face verification：人脸配对

（2）face identification：人脸匹配当前常见的人脸识别网络包括：SphereFace、 CosFace 、ArcFace

2.2 黑盒攻击

当前基于DNN的人脸识别广泛用于各种场景，比如手机付款、公共场所身份验证、犯罪分子识别等。，但同时DNN却容易受到一些攻击，比如Adversarial generative nets、Accessorizeto a crime，以上的攻击都是白盒攻击，攻击者需要知道模型网络的结果和参数，这个在实际中并不现实，因此本文提出了针对人脸识别DNN模型的黑盒攻击方法。

针对神经网络的黑盒攻击方法根据攻击的手段不同可以大致分为三类：

（1）transfer-based black box attack:基于神经网络的迁移性

（2）score-based black box attack:基于获得模型的预测概率

（3）decision-based black box attack：基于获得模型的预测硬标签。本文就是decision-based black box attack，这种情形是最符合实际情况的。

2.3 优化求解方法

之前的优化求解方法：

（1）The boundary attack method：基于在决策边界的随机移动

（2）The optimization-based method：将这个问题作为连续空间的优化问题，通过二分查找计算当前位置和决策边界的距离

（3）NES（natural evolution strategy）求解方法；以上的求解方法求解空间大，对神经网络模型的询问次数较多，且攻击效果不好（体现在对原样本的扰动较大），而本文提出的方法就克服了以上方法的不足。

3、算法介绍

3.1 攻击建模

攻击主要是将人脸验证问题（face verification）数学化为二分类问题，检测一张图或者是名字等是否是真正的这个人；将人脸识别问题（face recognition）数学化为多分类问题，判断一张图片是否是多个身份里面的某个人。给一张真实的照片x，攻击的目的是生成一个被模型错误分类的与x最近的假照片

上述公式为优化函数的形式化表示。对于躲避攻击和模拟攻击，列出了两种不同的攻击准则。

3.2 基于遗传算法的攻击模型

本文提出了基于CMA-ES（协方差矩阵适应进化策略）的攻击方法下图为算法流程图：

第3步：z表示对数据的扰动，产生扰动，其中C表示用于建模搜索方向的局部几何特征的协方差矩阵，是一个对角矩阵

第4步：选择K个坐标（即像素点），其中选择它们某个坐标的可讷讷个性与与C中该位置的元素大小成正比

第5步：其他的像素点都置为0

第6步：通过线性二插值的方法将z扩充为Rn的向量，

第7步：增加一个偏置使得原图像与对抗样本的L2范数（距离评价）变小，其中μ是一个超参数。

第8步：判断是否得到一个更好的解，是的话就跳到第九步第9步：更新最优解，并且更新协方差矩阵。

4、模型详解

4.1 初始化

对于dodging attack（躲闪攻击）,随机一个向量即可；对于impersonation attack（假冒攻击），将目标图像（即想要假冒的那个人的图像）作为初始向量。

4.2 协方差矩阵更新

依据论文A simple modification in cma-es achieving linear time and space complexity，本文提出了协方差矩阵C的更新策略：

式3 pc表示进化方向，式4 Cii表示对角矩阵C的元素，pci是pc的第i个元素，cc和 ccov是两个超参数。

4.3 超参数的调整

μ：采用1/5thsuccess rule

式中Psuccess是过去几次迭代尝试的成果率

Cc=0.01 Ccov=0.001，ε=0.01

5、实验结果和讨论

5.1 实验设置

用于攻击的人脸识别模型：SphereFace、CosFace、ArcFace

数据集：Labeled Face in the Wild (LFW) MegaFace

用于比较的攻击方法：boundary attack method , optimization-based method and an extension of NES in the label-only setting (NES-LO)

评价指标：生成的对抗样本和原始数据之间的mean square error

5.2 实验结果

fig2表示在face verification上的结果。dodging attack是指只要生成的对抗样本没有被识别或者被识别错误，impersonation attack是指生成的对抗样本要假冒成其他的某个指定的类别（这种攻击具有更强的攻击性，同时难度也更大）。图像中横轴表示对模型的query次数，纵轴表示MSE的变化，我们发现本文的方法（evolutionary）的收敛速度更快，且求得的最优解均优于其他的解法。

同理fig3表示在face identification上的实验结果

图4表示针对dodging attack 和impersonation attack在Arcface上产生对抗样本的迭代过程结果示意图。上面的表示原本的两个是同一个人的脸部图像A和B，通过攻击使得右边的人脸B和左边的人脸A识别不是一个人并且给出了随着query的增加对抗样本的迭代过程。

下面的C与D表示通过攻击使得模型对于D的图像识别为C图像中的人脸，并且给出了随着query结果的“进化”过程。

5.3 在真实环境的攻击效果

攻击对象：face verification API in Tencent AI Open Platform

数据集：LFW dataset 设置最大询问次数：10000

表4表示针对10对图像，攻击目的为impersonation attack，用不同的攻击方法的效果

图6表示不同攻击方法获得的对抗样本图示

从图中以及表中的数据分析，可以得到采用本文的方法攻击获得的对抗样本与原图像具有更大的相似度（即对原始数据的扰动更小）

原文链接