2020百度-Learning Generalized Spoof Cues for Face Anti-spoofing 学习笔记

现有人脸反欺骗方法：针对一些预定义的欺骗类型对决策边界进行建模。

存在问题：包含未知样本的欺骗攻击的多样性阻碍了有效的决策边界建模，导致泛化能力较弱。

本文创新思路：从异常检测的角度对人脸欺骗检测进行了重新定义，并提出了一个残差学习框架来学习被定义为恶搞线索的区别性实时恶搞差异。该框架由一个恶搞线索生成器和一个辅助分类器组成。该生成器将实时样本的欺骗线索最小化，而不对欺骗样本的欺骗线索施加明确的约束，以很好地概括为不可见的攻击。通过这种方式，异常检测被隐式地用于指导欺骗线索的生成，从而导致区分特征学习。辅助分类器起到恶搞线索放大器的作用，使恶搞线索更具区分性。

效果：我们进行了大量的实验，实验结果表明，该方法的性能始终优于目前最先进的方法。

代码：https://github.com/vis-var/lgsc-for-fashttps://github.com/vis-var/lgsc-for-fas

存在的人脸攻击：呈现攻击，例如打印照片(即打印攻击)、数字图像/视频(即重放攻击)和3D人脸面具(即D面具攻击)。

现有方法：

传统方法使用手工特征提取纹理信息，并使用浅层分类器对决策边界进行建模。手工特征包括LBP、HOG、SIFT。缺点是不具有足够的区分性，并且分类器的性能受到限制。

基于深度学习的方法利用CNN来学习更具区分性的特征，并将欺骗检测描述为一个二分类问题。缺点是对于训练数据集过拟合，不能很好的进行泛化。目前的大多数基于深度学习的方法开始着眼于提高模型的泛化能力，并取得了可喜的成果。

Fas的泛化能力有限在于包括未知样本在内的假冒样本的多样性。虽然人们可以假设实时样本具有相同的性质并可以归类为一类，但由于攻击媒介的广泛多样性，恶搞样本通常是不同的。为了消除欺骗多样性对决策边界建模的影响，我们从异常检测的角度重新定义了FAS，并假设活样本属于闭集，而恶搞样本是闭集的孤立点，属于开集。基于这一假设，我们将恶搞线索定义为可用于区分闭集和开集的区分性特征。

在本文中将欺骗线索表示为与输入图像大小相同的特征映射。对于欺骗图像，欺骗线索容易映射成为非零映射，而对于真实图像，欺骗线索容易映射成为全零映射。与传统用于分类的紧凑嵌入不同(实时和欺骗)，欺骗线索可以有效地对空间信息进行编码。为了学习恶搞线索图，我们提出了由恶搞线索生成器和辅助分类器组成的残差学习框架。在欺骗线索生成器中，我们为活样本设置显式回归损失，以最小化其欺骗线索的大小，同时不对欺骗样本设置显式约束，使其对应的条目为任意实数。这样，直播和恶搞样本的恶搞线索自然是可以分开的。此外，我们在生成器上采用多尺度特征级度量学习，以提高实时类内紧凑性和活体类间可分性。然后，将以残差学习方式跳跃连接的欺骗线索图和输入图像馈送到辅助分类器，进一步改进了区分特征学习。欺骗线索图及其分布如图1所示。欺骗线索图被直接用于计算在测试阶段被欺骗的输入样本的分数。实验结果表明，利用欺骗线索图可以有效地区分活动闭合集和恶搞开集。

图1.恶搞线索图和学习到的特征嵌入的分布。左图：输入图像和生成的恶搞线索地图。右：使用t-SNE可视化的学习特征嵌入的分布。更多细节将在第4.4节中给出。

本文贡献：

• 我们从异常检测的角度重新定义了FAS，并提出了一个欺骗线索生成器，它通过最小化活样本的欺骗线索的幅度来模拟闭集样本的欺骗线索，而在不对欺骗样本施加显式约束的情况下模拟开集样本的欺骗线索。

• 采用残差学习框架，使恶搞线索具有更强的区分性，进一步提高了恶搞线索的泛化能力。

• 在没有额外的深度或时间信息的情况下，所提出的框架在流行的RGB反欺骗数据集上的性能优于最先进的数据集。

本文方法具体介绍：

1 Preliminaries预定义

异常检测：异常检测(AD)是在一组正常数据中识别异常样本的任务。典型的AD方法试图以无监督的方式学习对正常数据的紧凑描述。

以深度支持向量机为例，输入X，输出Z，

目标是训练神经网络φ以学习一种变换，该变换最小化以预定点c为中心的输出空间Z中的数据封闭超球体的体积。

在FAS中，虽然假设实时样本具有相同的性质，但由于攻击媒介的广泛多样性，欺骗样本可能非常不同。这种多样性使得欺骗样本很难在特征表示空间中形成一个紧凑的区域，进而阻碍了活样本和欺骗样本之间有效的决策边界建模。此外，由已知的欺骗样本学习的决策边界在不可见的欺骗样本上的性能可能较差。在AD方法的启发下，我们假设活体样本属于闭集，而欺骗样本是闭集的离群点，属于开集。因此，假设活体样本的分布在学习的特征表示空间中处于紧凑的球体内，而欺骗样本远离活体球体的中心。