Learn Convolutional Neural Network for Face Anti-Spoofing

关于anti-spoof的介绍

基于纹理的特征

Li 等人提出了基于傅氏谱的分析方法，这种方法是基于照片中的高频成分低于真实人脸的理论；Tan 等人使用基于变化的视网膜大脑皮层方法，使用高斯函数的差分 (DoG) 提取照片上潜在的反射特征；受到Tan的启发，Peixoto等人在极端的光线条件下结合了差分高斯函数和标准的稀疏逻辑回归模型进行反欺骗；Maatta等人提出 使用LBP进行反欺骗，其在NUAA数据库上的实验比之前的方法好很多，此外，其效率也在REPLAY ATTACK数据库进行了呈现。
Pereira等人使用了一种叫做从三个正交平面提取的局部二值模型（LBP-TOP）的时空纹理特征，由其在REPLAY-ATTACK 数据库上的实验结果可知，LBP-TOP效果要比LBP好。但是基于纹理的特征泛化能力较差，造成的原因可能有异常阴影、高亮、设备噪声等，所以纹理特征通常被当作线索使用。

基于运动的特征

Pan等人利用眨眼进行反欺骗，这种方法构造一个条件随机场（一种判别式概率模型）来模拟眨眼的不同阶段； Kollreider 使用嘴唇的移动并利用读唇语来实现活性检测。该系统要求用户说出一串单词并验证用户的嘴唇移动是否符合单词。此外， Chetty 等人提出了一种多模型的方法来增强欺骗攻击的不同之处。这种方法通过验证视频和音频信号的适配来进行活性验证。
另一方面，反欺骗工作前期需要关注物理运动。 Bao 等人提出一种利用光流场来区分2D平面和3D真是脸的方法。类似的， Kollreider也提出了一种依赖光流场分析的方法。该方法基于一种3D脸可以产生一种特殊的2D移动，这种移动在面中（鼻子等）区域更高，在其他区域（耳朵等）较低。 最近，Anjos等人提出了基于前景和背景光流的相关性识别欺骗攻击；与此同时，Yang等人提出了一种基于11个区域的光幅度/相位序列之间的相关性来重放攻击的对策，结合基于纹理的方法获得了第一名；此外， Kollreider 等人在交出场景中使用眨眼和脸部移动来进行活性检测。

基于3D形状

Marsico等人提出了一种基于三维投影不变量的移动人脸抗欺骗方法。然而，这种方法只能处理不扭曲的照片攻击，因为共面假设对于弯曲的照片是无效的。尽管变形后的照片不满足同面约束条件，但它们之间仍有一些内在的区别。【33】提出了一种用于人脸图像稀疏三维形状恢复的方法来检测各种图像攻击。对不同翘曲类型(无翘曲、垂直翘曲和水平翘曲)的性能进行了评估，结果表明该方法在数据库内协议和数据库间协议下都能很好地工作。但是以上方法对于3D面具攻击来说都会失败。

基于多光谱反射

多光谱方法利用超过视觉光谱的光照来检测欺骗攻击。研究人员通过选择合适的光谱使得真实和虚假的脸的反射差距增大。不同于直接使用反射强度，研究人员提出了一种基于梯度的多光谱反欺骗的方法。作者研究了三种光照鲁棒特性，并对其在不同光谱波段上的性能进行了评价。然而，这些方法需要额外的设备来捕获不可见光线下的人脸图像，因此将这些设备部署到最新的FR系统是不现实的，这些系统仅仅基于RGB彩色人脸图像。
很多反欺骗方法都是将多种方案结合使用。Pan等人将场景上下文集成到他们早期的基于眨眼的抗欺骗方案中。然而，在很多场景下所谓的上下文并不存在，例如PRINT-ATTACK 数据库。对于 PRINT-ATTACK 数据库，Tronci等人使用了纹理、运动、活性，在开发集和测试集上取得了良好的性能。在同样的数据库上，Yan等人使用了多场景线索，包括非严格运动，人脸背景一致性和图像条带效果，检测欺骗攻击在测试集上达到了100%的准确性。最近，Chingovska等人提出将人脸识别模块集成到分数级和特征级的反欺骗系统中。

方法

数据准备

人脸定位

我们对图片常见的ViolaJones人脸检测后，我们实现了在[28]中提出的人脸对齐算法。在训练阶段，我们提取一组局部的二元特征，然后用这些特征来学习一个线性的回归线性级联。在测试过程中，人脸检测器提供一个初始矩形，然后对最终输出进行级联回归，即一组面部标记。获得地标后，将其边框作为最终的面位置。如图2所示基于人脸标志逐步细化初始矩形，获得更精确的人脸位置。

增大空间

anti-spoof区别于其他面向人脸的算法更像是对图像质量的检测，因此可以关注一些人脸以外的背景。因此我们通过放大人脸区域来提取一些背景区域。区别与以往的工作，我们将提取更多的背景来加强效率，同时使CNN可以学到更多东西。（【35】认为提取更多背景没有意义，我们认为它在这方面遇到了瓶颈）
对于每组照片，我们提供五张不同尺寸的图像，从第一张只包含人脸区域，不断扩大图像区域。我们可以看到，在 CASIA-FASD 数据库上，扩大图像区域的图像可以看到明显的照片边界。 对于REPLAY-ATTACK数据库，虽然没有明显的照片边界，与真实的人脸相比，假的照片在整个图像中包含了模糊的边缘，这是由于重新捕获而引起的异常镜面反射。

时间增强

除了空间增强，我们还需要进行时间增强，也就是连续帧中提取的时空纹理特征。使用多个连续帧对CNN进行训练时，CNN不仅可以学到空间特征，还可以学习到时间特征。本文我们将判断时空特征是否对anti-spoof有作用。

特征学习

我们使用CNN进行特征学习。CNN结构为，5个卷积层和3个全连接层。归一化层用于卷积层第一层和第二层的输出。最大池化层用于处理第一层、第二层和最后一层卷积层的输出。每个卷积和全连接层的输出都采用ReLU非线性。为了避免过拟合，前两个全连接层之后是两个dropout层，最后一层，即输出层之后是softmax。

实验

配置

实验中先使用OPENCV进行人脸检测，然后使用上面提及的方法进行人脸标记。将图像放大{1.4，1.8，2.2，2.6}倍提取背景，使用连续帧对图像进行时间上的增强。 learning rate is 、decay rate are 0.001; momentum is 0.9. 在此基础上，利用基于RBF核的支持向量机训练分类器进行抗欺骗干扰训练。

数据库

CASIA 和 REPLAY-ATTACK
这个数据库总共有50个主题。对于每个受试者来说，真实的面孔被分为三种品质。通过实施三种攻击，即三种攻击方式分别为:扭曲光攻击、剪切光攻击和电子屏幕攻击。因此，每个受试者有12个序列(3个真序列和9个假序列)。数据库中的序列总数为600。
重播攻击数据库[7]:它还包含50个主题。对于每个受试者，在两个背景前收集四个真实的视频序列。与CASIA类似，使用了三种欺骗类型，包括打印攻击、数字照片攻击和视频攻击。在固定和手持条件下捕获欺骗序列。数据库中的序列总数为1200。

协议

半错误率 (HTER) 、确定等错误率(EER)。将 CASIA 分为5组，一组用于训练，剩余用于测试。REPLAY-ATTACK 直接使用分好组的训练数据即可。

数据库内部测试

CASIA

HTERs

可以看出尺寸（背景大小）对识别率的影响。通过实验结果的观察，性能最佳时，放大尺寸为2，帧数为2.

REPLAY-ATTACK 数据库上，HTER最低时scale为1.随着规模的增大，性能也逐渐提高。当使用scale 5的输入数据进行训练时，反欺骗干扰的性能达到了近乎完美的水平。由实验数据可以看出，不断扩大图片尺寸对识别有一定的帮助，但是在一定程度后会产生负面影响。