【Multi-Feature FAS】《Face Anti-Spoofing Based on Multi-Feature Fusion》

原文

[1]杨敏.基于多特征融合的人脸防伪技术研究[D].武汉大学,2019.

贡献 / 相关工作

针对攻击对象存在背景依赖和非刚性运动造成的深度信息缺失问题，采用边缘信息放大差异

各种 loss + 数据库 + 评价指标

本节将会对近 5 年来论文中出现比较频繁的四个数据集进行介绍。

它们分别是 IDIAP 研究部门发布的 Replay-Attack 数据集[55]、中科院自动化生物识别与安全技术研究中心发布的CASIA-FASD 数据集[37]、奥卢大学（University of Oulu）机器视觉和信号分析中心在 FG2017（2017 12th IEEE International Conference on Automatic Face & Gesture Recognition）会议发布的 OULU-NPU 数据集[56] 密歇根州立大学计算机视觉实验室（MICHIGAN STATE UNIVERSITY, Computer Vision Lab）发布的 SiW（Spoof in the Wild）数据集

1）基于人脸边缘与深度信息融合的人脸防伪算法
2）基于联合学习的人脸防伪方法
3）基于卷积重构与特征重标定的模型压缩与优化方法

非刚性运动（表情/姿态）、噪声差异、人脸背景依赖等着不同，可以将解决人脸防伪问题的模式

定义为以下三种差异：

a. 图像微纹理之间的差异

b. 非刚性运动和三维结构差异

C. 二次采集造成的噪声差异

基于单帧的特征融合人脸防伪算法

通过融合单张检测目标的高频特征分量和四张连续检测目标的频域动态特征，并且结合人脸识别场景中的动态线索和静态线索来进行活体与非活体的区分，文章通过可视化活体与非活体特征值分布的规律验证了方法是有效的

闪光：通过利用不同频段的主动光源对目标对象进行照射，通过额头特定区域的平均灰度值，并将其构造成特征向量用于分类，最后证明了该方法的有效性。

光流：

rPPG：首次引入远程心率信号（remote Photo Plethysmography, rPPG）来解决的人脸防伪算法是有着较大的创新

检测也帮忙卡活检，配合手动设计的特征

---

作者的方法

1）基于人脸边缘与深度信息融合的人脸防伪方法
在融合的过程中对权重进行正则化处理，去掉融合特征中的冗余特征，抑制模型对噪声的学习，得到更有效的分类特征。

2）基于联合学习的人脸防伪方法

使用 LASSO 正则的主要思想是在特征学习中建立一个竞争生存的机制，将冗余的特征异或是噪声信息对应的权重通过正则化的手段使其稀疏，同时在最初的局部和全局共享卷积层中将具有辨识性的特征凸显，以最大化共享的活体检测辨识特征

Group lasso 正则

3）基于卷积重构与特征重标定的模型压缩与优化方法

RGB、HSV、YUV 和 YCrCb 四种颜色空间

把 stage4 和 5 都砍了貌似

评价

❤❤❤❤❤❤