【Multimodality FAS】《Research on The Key Techniques of Multi-mode Face Anti-spoofing》

原文

耿丙乾.多模态人脸活体检测关键技术研究[D].北京交通大学,2020.DOI:10.26944/d.cnki.gbfju.2020.002596.

贡献

研究背景以及意义写的很不错，方法效果一般，但是有 RGB 生成 HDR，RGB 生成 IR，RGB 生成 depth 的相关介绍

人脸姿态动作敏感，识别率低，用户体验差

提高识别准确率，摆脱用户配合的步骤，提升用户体验

贡献：

1）通过目前公开数据集的 RGB 图像来生成不同的模态，例如宽动态范围图像（High-Dynamic Range，HDR），深度图等，进而分析研究生成的不同模态对活体检测任务的影响

2）构建数据集

3）提出一种多模态活体检测网络模型并实现了多模态活体检测系统

基于生成多模态的 RGB 图像人脸活体检测算法 （HDR 和 深度是生成的）

基于多模态的人脸活体检测算法（HDR and NIR）

应用与难点

光线变化、姿态等各种因素的干扰，

1）门禁安防方面

2）金融身份认证

3）设备用户身份认证

光照
姿态（表情）
肤色
性别
年龄
打印技术
部署限制
环境背景、光照条件、人脸姿态、攻击材质等因素对获取到的图像效果影响较大

相关工作

使用目前较好的单帧图像恢复人脸 3D 模型的算法[29]来预先估计人脸深度信息

Adaptive 3D face reconstruction from unconstrained photo collections

用 RGB 图像生成 rPPG(Remote Photoplethys-mography，远程心率测量)信号、深度图等多种模态监督信息的方法

Reiter 等人[49]使用典型相关分析（Canonical Correlation Analysis，CCA）的方法来从人脸的单帧 RGB 图像中获得 IR 图像和人脸深度图

Raghavendra 等人[50]采取了从 2D 图像中恢复人脸深度信息然后进行多模态人脸识别

Jackson 等人[52]在 2017 年的 ICCV 会议中提出了一种直接从 2D 人脸图像中恢复 3D 信息的方法 VRN(Volumetric Regression Network)

HDR 图像是通过普通设备多次不同时间曝光并取该组图像的对应的最佳细节合成或者使用更宽感光范围的传感器来采集得到的图像。相比于普通图像，HDR图像能够提供更多的纹理细节信息，其中将会使图像中过亮或者过暗区域中对判别起到关键作用的关键细节变得更加显著

近年来涌现了很多从 RGB 图像中生成 HDR 图像的工作[54,55]，其中比较有代表性的从 RGB 图像中生成 HDR 图像的方法是 HDRCNN[56]

Single image-based HDR image generation with camera response function estimation

HDR image reconstruction from a single exposure using deep CNNs

作者提出的方法

作者用

生成 HDR图片

用

生成深度图片，标签是VRN 网络

实验效果

多模态融合（前端融合，中层融合，深层融合）

在实验中发现在部分图像质量较差的数据集上可以使用 HDR 图像增强的方式来提高人脸活体检测的性能

随着技术的不断发展，摄像头的性能也在不断提升，多模态摄像头也逐步推广应用，3D 传感器目前仍是因为成本昂贵，有效范围近，普及性较低，部署环境要求较高等一系列问题而难以普及推广。而近红外摄像头的普及率已经大大提高，目前很多用于安防的监控摄像头中也都设置了近红外传感器，门禁机中也逐步采用了彩色和近红外的双目摄像头

人脸活体检测任务中往往会出现人脸的身份信息对活体检测任务的干扰而产生针对某个人的全拒绝或者全接受的情况，即对于某个人来说只要出现此人的人脸即认为该图像为真实本人或者将其认定为攻击。因此在数据集的划分过程中需要确保同一个人的信息不会在训练集和测试集中交叉出现以避免人脸身份信息对人脸活体检测任务带来的负面影响

点评

打分：❤❤❤❤❤