活体检测论文整理

PAD（presentation attack detection）方法

(1) 动作配合式活体检测：给出指定动作要求，用户需配合完成，通过实时检测用户眼睛，嘴巴，头部姿态的状态，来判断是否是活体。

(2) H5视频活体检测：用户上传一个现场录制的视频，录制时读出随机分配的语音校验码。然后通过分析这个视频的人脸信息以及语音校验码是否匹配，完成活体检测判断。

(3) 静默活体检测：相对于动态活体检测方法，静默活体检测是指，不需要用户做任何动作，自然面对摄像头3、4秒钟即可。由于真实人脸并不是绝对静止的， 存在微表情，如眼皮眼球的律动、眨眼、嘴唇及周边面颊的伸缩等，可通过此类特征反欺骗。

(4) 图片活体检测：基于图片中人像的破绽（摩尔纹、成像畸形等）来判断目标对象是否为活体，可有效防止屏幕二次翻拍等作弊攻击，可使用单张或多张判断逻辑。

(5) 近红外活体检测：利用近红外成像原理，实现夜间或无自然光条件下的活体判断。其成像特点（如屏幕无法成像，不同材质反射率不同等）可以实现高鲁棒性的活体判断。

(6) 3D结构光活体检测：基于3D结构光成像原理，通过人脸表面反射光线构建深度图像，判断目标对象是否为活体，可强效防御图片、视频、屏幕、模具等攻击。

(7) 光流法：利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，从图像序列中得到各个像素点的运行信息，采用高斯差分滤波器、LBP特征和支持向量机进行数据统计分析。同时，光流场对物体运动比较敏感，利用光流场可以统一检测眼球移动和眨眼。这种活体检测方式可以在用户无配合的情况下实现盲测。

传统方法：

1）镜面反射+图像质量失真+颜色

specular reflection, blurriness features, chromatic moment and color diversity

Di Wen, Hu Han, Anil K. Jain. Face Spoof Detection with Image Distortion Analysis. IEEE Transactions on Information Forensics and Security, 2015

2）HSV空间人脸多级LBP特征 + YCbCr空间人脸LPQ特征

Zinelabidine Boulkenafet, Jukka Komulainen, Abdenour Hadid. Face Spoofing Detection Using Colour Texture Analysis. IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, 2016

3）捕获活体与非活体微动作之间的差异来设计特征：一个是先通过运动放大来增强脸部微动作， 然后提取方向光流直方图HOOF + 动态纹理LBP-TOP 特征；一个是通过动态模式分解DMD，得到最大运动能量的子空间图，再分析纹理。

Santosh Tirunagari, Norman Poh. Detection of Face Spoofing Using Visual Dynamics. IEEE TRANS. ON INFORMATION FORENSICS AND SECURIT, 2015

4）先通过 pluse 在频域上分布不同先区分活体 or 照片攻击 （因为照片中的人脸提取的心率分布不同），再若判别1结果是活体，再 cascade 一个纹理LBP分类器，来区分活体 or 屏幕攻击（因为屏幕视频中人脸心率分布与活体相近）

Xiaobai Li, , Guoying Zhao. Generalized face anti-spoofing by detecting pulse from face videos, 2016 23rd ICPR

活体公开版数据集：CASIA-SURF CeFA, CASIA-SURF, OULU-NPU, SiW.

深度学习方法：

FeatherNets: Convolutional Neural Networks as Light as Feather for Face Anti-spoofing

创新点
提出轻量级网络Feather：
thin CNN stem——计算代价小；
提出流模块——比GAP（Global Average Pooling）精确度更高；
设计了一种新的融合分类器体系结构，将从多模态数据（depth 和 IR 数据）中学习到的多模型进行组合和级联；

成就
仅用depth image进行训练，0.00168 ACER, 0.35M parameters and 83M FLOPS；
in the Face Anti-spoofing Attack Detection Challenge@CVPR2019 and
got the result of 0.0013(ACER), 0.999(TPR@FPR=10e-2),
0.998(TPR@FPR=10e-3) and 0.9814(TPR@FPR=10e-4).
数据集 MMFD
原理
真实人脸的depth image是不均匀的，攻击人脸的depth image是平面的。
网络结构
仅用原图生成的depth做训练，采用3种block模块，为了提升模型精度，同时降低model的大小。
实验的缺点在于单纯采用depth信息，没有采用Mutil-task的监督训练模式，模型泛化能不好。

实验中用到的不同BLOCK模块。

采用IR和Depth 双模态判别，增加系统的精度。

Regularized Fine-grained Meta Face Anti-spoofing

文章采用元学习的策略，即前端主干backone，后接多个分支的multi-task学习模式，先采用depth信号对网络的loss进行辅助，训练前端backbone泛化能力。

以O,C,I,M分别代表不同的数据集，下面四个表格中O&C&I to M表示在O,C,I三个数据集上进行训练模型在M数据集上进行测试。 在几种模型上ROC曲线的分布，文中的model的灵敏度和精确度均优于其他模型。

模型评价标准：
APCER ：Fake的错误率
BPCER： real的错误率
ACER： 平均错误率

Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing

本文提出了一种新的人脸欺骗检测框架，该框架充分利用了深度学习的表征能力和领域泛化的特点，实现了人脸欺骗检测。特别是考虑了时空信息，实现了广义深度特征表示，并提出了一种适合时空输入的三维卷积神经网络结构。该网络首先通过基于交叉熵损失的增强样本训练来初始化，然后通过特定设计的泛化损失 作为正则化项，对网络进行进一步增强。

主要贡献如下：
(1)采用一种三维cnn网络，该网络考虑了时间和空间信息，采用了一种专门设计的数据增强方法进行人脸欺骗检测。
(2)为了进一步提高泛化性能，我们采用了一种泛化正则化方法，使不同区域间的最大平均差异距离最小。
(3)对四种不同的数据集和基于交叉摄像机的协议进行了广泛的实验分析，结果表明，与其他先进的方法相比，我们提出的框架可以获得更好的性能。

文章指出真假脸在频域特征存在较大差异，如下所示：

多帧时域信息检测活体
Static and Dynamic Fusion for Multi-modal Cross-ethnicity Face Anti-spoofing
提出了一种多模态人脸抗欺骗的静态-动态融合机制,文章主要工作：
（1）使用SD-Net学习单一模式的静态和动态特征，结合动态图像进行面部反欺骗。
（2）使用PSMM-Net来学习补充视频中来自多模式数据的信息。
（3）发布了CASIA-SURF CeFA数据集，其中包括3个种族，1607个主题和4种不同的2D / 3D攻击
类型。
（4）对比模型在CASIA-SURF CeFA和其他3个公开数据集上的表现，证明了其较高的泛化能力。

Exploiting temporal and depth information for multi-frame face anti-spoofing

(1) 文章分析了面部反欺骗的时间深度，并寻求动作和面部深度的用处反欺骗。
(2) 提出了一种新颖的深度监督架构（OFFB）和ConvGRU模块可发现面部深度及其独特的运动模式单眼帧序列的时间信息。
(3) 设计了对比深度损失来学习地形深度监督的面部防欺骗的面部要点的设置。