针对人脸识别的物理对抗攻击研究综述

摘要

【目的】 近年来，针对人脸识别的对抗攻击方法频出。其中，物理对抗攻击方法可直接在物理世界中攻击人脸识别系统，相比于数字对抗攻击有更高的研究价值。【方法】 首先对人脸识别与对抗攻击的基本概念与背景知识进行介绍；然后分别从增强物理对抗样本的鲁棒性以及迁移性两个角度，整理介绍物理对抗攻击中常用的优化方法；进一步，对现有的针对人脸识别的物理对抗攻击方法进行分析介绍。【结果】 以人脸识别对抗攻击在物理领域的可行性为线索，按照不同的扰动呈现形式将针对人脸识别的物理攻击方法分为三类：基于配件、基于物理光线和基于贴纸，然后从鲁棒性和迁移性两方面系统分析了不同类别的优劣。【结论】 针对人脸识别的物理对抗攻击仍然还存在亟待解决的问题，同时其在人脸识别的发展与公共安全的维护等方面具有重要的作用。

关键词： 物理对抗攻击; 对抗样本; 人脸识别; 鲁棒性; 迁移性

前言

人脸识别是一种当前广泛应用的生物识别认证技术，在国家安全、金融支付、安保等领域起着重要的作用。受益于深度神经网络(Deep Neural Networks, DNN)的不断发展，人脸识别技术性能有了极大地提升。然而， Szegedy等[1]发现DNN容易受到对抗样本（一种人眼难以察觉但能造成模型错误分类的微小扰动）的威胁。同样，基于深度神经网络的人脸识别模型也具有脆弱性[2⇓⇓⇓-6]，这给人脸识别的安全性带来了挑战。

根据攻击技术应用的领域，可将对抗攻击分为数字对抗攻击和物理对抗攻击。虽然数字对抗攻击[2-3]在攻击人脸识别系统场景下取得了较好的攻击效果，但是在现实环境中，人脸识别系统通常都是由设备捕获直接输入系统，难以在传输过程中对数字图像添加扰动。相比于针对人脸识别系统的数字攻击，物理攻击更加具有研究意义和现实应用价值，成为近几年的研究热点。

针对人脸识别的物理对抗攻击研究旨在让生成的对抗样本能在真实的物理环境中仍然保持对抗性，当前为实现这一目标，主要有以下三个挑战：（1）物理环境的变化，例如光线、角度和距离等环境因素的变化都有可能会造成对抗性损失或攻击失效；（2）设备的局限性，数字空间中的扰动难以通过物理世界中的设备显现出来；（3）扰动大小的合理控制，扰动过小时传感器难以捕获，而扰动过大时易被传统的防御方法（如安保人员）防御。为解决所面临的挑战，当前国内外的物理对抗攻击研究主要从三个不同的方向来增强攻击的物理可行性：改善对抗样本的生成形式、增强对抗样本的鲁棒性、提高对抗样本的迁移性。

本文以物理对抗攻击的可行性为主线，从扰动形式、鲁棒性与迁移性三个角度分析现有的基于人脸识别的物理对抗攻击方法。根据不同的扰动呈现形式将物理对抗攻击方法分为三类：基于配件的攻击方法、基于物理光线的攻击方法、基于贴纸的攻击方法，同时针对物理对抗攻击的环境变化、空间转换等问题，分析现有物理对抗攻击方法的优缺点以及攻击方法的鲁棒性和迁移性，最后讨论物理对抗攻击在人脸识别方向上的挑战和发展。

1 背景知识

1.1 人脸识别

人脸识别是一种利用人脸特征来进行识别的生物特征识别技术。人脸识别模块主要由人脸图像预处理、深度特征提取和人脸匹配三部分组成。具体过程是待识别图像送入人脸检测器检测出人脸的具体位置并进行人脸对齐和图像的标准化处理，再将预处理好的图像送入已训练好的识别网络结构进行特征提取，最后与数据库里的人脸图片进行特征比对，判断人物身份是否匹配。人脸识别过程如图1所示。

图1

图1   人脸识别的处理过程

Fig.1   The processing of face recognition

在基于深度学习的人脸识别中，深度卷积神经网络结构、损失函数和数据集往往决定了人脸特征学习能力及识别性能。目前，基于深度学习的人脸识别模型有很多，代表性模型有FaceNet[7]、SphereFace[8]和CosFace[9]。

1.1.1 代表性网络架构

基于深度学习的人脸识别是利用单个深度卷积神经网络逐层地提取人脸的不同特征，再进行融合。目前，实现人脸识别的三种代表框架有：VGGNet[10]、GoogLeNet [11]、ResNet [12]。VGGNet采用3*3的卷积层和池化层，不仅有效地减少了参数的数量，而且加深了网络的层数，可以提取图像中更多的特征。VGGFace[10]和 VGGFace2[13]都是在VGGNet网络架构上训练自己的数据集得到的人脸识别系统。GoogLeNet提出inception模块化，并行执行不同视野的卷积核（1*1，3*3，5*5）以合并多分辨率信息，FaceNet [7]在此网络框架下通过学习从人脸图像到欧几里德空间的映射，比较人脸相似度进行识别。ResNet在深度网络中加入残差结构允许输入直接输出，解决网络过深难以训练的问题，SphereFace[8]、CosFace[9]、ArcFace[14]都是在此框架下利用精心设计的损失函数学习到更多可分离的特征。

1.1.2 损失函数

人脸识别的损失函数可看作是识别中的监督信号，用来监督模型学习到更多的可分离特征，促进类内特征的聚合与类间特征的离散。现有的人脸识别损失函数主要分为三类：（1）基于欧几里得距离的损失，减少类内方差的同时，扩大类间方差；（2）基于角度/余弦度量的损失，使学习到的特征以尽可能大的角度或距离分离；（3）基于softmax loss发展的损失，通过合并权重或归一化来修改 softmax 损失，使学习到的深层特征可区分。目前监督效果较好的三种人脸识别系统损失函数是：SphereFace中的A-Softmax loss[8]、CosFace 中的Large Margin Cosine Loss [9] 、ArcFace 中的 Additive Angular Margin Loss [14]。

1.1.3 常用数据集

数据集在基于深度学习的人脸识别中起着重要的作用，丰富多样的数据集有利于深度神经网络学习到更多的特征。目前主流的大规模数据集以及其特点有：LFW[15] 数据集拥有不同姿态和表情的人脸图片，来源于自然生活场景中；MegaFace [16] 和CASIA- WebFace [17]作为广泛使用的公开数据集，为训练人脸识别算法提供了海量的样本数据；IARPA Janus Benchmark数据集[18⇓-20]在不断扩充人脸图片数据量的同时，增加了被拍摄者姿态、拍摄环境的变化； YouTube Faces数据集 (YTF) [21]是一个面部视频数据集，用于研究基于视频的动态人脸识别。

1.2 对抗攻击

对抗攻击是指在深度神经网络的输入样本中添加微小的扰动（rr），使分类器将原本的正确类误分为错误类，其表达公式为：

f(x)=ytrue f(x+r)≠ytrue f(x)=ytrue f(x+r)≠ytrue 

(1)

其中，x∈Rmx∈Rm是神经网络f的输入，ytrue ytrue 表示x的真实标签， 代表在x中添加的微小扰动。

根据攻击者有无攻击目标、有无目标模型的信息参数以及攻击实施的领域，可以对攻击进行不同的分类划分，如图2所示，对每一类攻击方法详细介绍如下。

图2

图2   对抗攻击分类方法

Fig.2   Adversarial attack classification methods

 

1.2.1 攻击目标

依据攻击目标是否存在进行分类，攻击可以分为非目标攻击和目标攻击。非目标攻击是指添加的扰动使分类器产生错误的分类但不限定分到特定的某一类；目标攻击是指添加扰动使分类器分类错误且分到特定的类。由于目标攻击和非目标攻击对分类器的能力要求不同，其优化目标也存在差异。在人脸识别模型的攻击中，目标攻击意味着模拟攻击，也就是攻击者被错误识别成指定的人脸，优化目标是最小化对抗样本与目标类之间的损失函数，其优化表达式为：

argminrsoftmaxloss(f(x+r),yt)arg⁡minrsoftmaxloss⁡(f(x+r),yt)

(2)

而非目标攻击意味着躲避攻击，攻击者被识别为任一错误类，优化目标是最大化对抗攻击样本与初始类ytrue ytrue 的损失函数LL，其优化表达式为：

argmaxrsoftmaxloss(f(x+r),ytrue )arg⁡maxrsoftmaxloss⁡(f(x+r),ytrue )