在上面图像中,攻击者被人脸识别(FR)系统识别。在中间图像中,我们的方法使用代理模型来计算数字域中的对抗性组成,然后应用于物理域。因此,FR系统无法识别攻击者(下图)
摘要:最先进的监控系统使用深度学习人脸识别模型来识别,例如:公共区域(如机场)的个人。先前的研究表明,在数字和物理领域,使用对抗性机器学习(AML)攻击成功地规避此类系统的识别。然而,物理域中的攻击需要对人类参与者的面部进行重大操纵,这可能会引起人类观察员(例如机场安检人员)的怀疑。在这项研究中,我们提出了一种新的黑盒AML攻击方法,该方法可以精心打造自然妆容,当应用于人类参与者时,可以防止参与者被面部识别模型识别。我们评估了我们针对ArcFace人脸识别模型提出的攻击,20名参与者参与了一项研究真实世界的设置,包括两个摄像头、不同的拍摄角度和不同的照明条件。评估结果表明,在数字领域,人脸识别系统无法识别所有参与者,而在物理领域,人脸识别系统只能在1.22%的帧中识别参与者(相比之下,没有化妆的情况下为47.57%,随机自然化妆的情况下为33.73%),低于实际操作环境的合理阈值。
FR人脸识别系统的操作流程
创建数字对抗性化妆:为输入图像计算热图,然后将化妆添加到图像中的相关面部区域。只要新的化妆图像仍然被正确识别,它就被用作输入;重复该过程,直到无法正确识别图像。
实验结果:人脸识别的效率明显降低
微信公众号:
下载对应的论文,在公众号中回复:paper