多模态PCANet：一种高精度、低复杂度的鲁棒3D活体检测方案

多模态PCANet：一种高精度、低复杂度的鲁棒3D活体检测方案

——基于ToF的3D活体检测算法研究

作者：陈发全 王伟行

当下正值新冠肺炎（COVID-19）肆虐全球之际，戴口罩成为了全民阻断病毒传播的最佳方式。然而在人脸部分遮挡或恶劣光照条件下，用户人脸识别或人脸认证的合法访问常常提示活体检测失败，甚至根本检测不到人脸。这是由于目前基于RGB等2D空间的主流活体检测方案未考虑光照、遮挡等干扰因素对于检测的影响，而且存在计算量大的缺点。而数迹智能团队研发的3D SmartToF活体检测方案则可以有效解决此问题。那么什么是活体检测？什么又是3D活体检测？以及怎么实现恶劣环境（如人脸遮挡、恶劣光照等）与人脸多姿态变化（如侧脸、表情等）应用场景下的活体检测呢？本文将会围绕这些问题，介绍数迹智能的最新成果——基于ToF的3D活体检测算法。

1. 什么是活体检测？

根据IEEE首个生物特征活体检测国际标准[26]定义，生物特征识别系统捕获访问对象并自动检测呈现攻击（Presentation Attack, PA）的过程统称为攻击检测（Presentation Attack Detection, PAD），又称为活体检测。

人脸活体检测作为人脸识别技术的先决条件，对保障人脸识别系统的安全性具有重大意义。本文讨论的呈现攻击仅限与关于人脸的非活体呈现攻击，如照片、回放视频以及人脸面具等。

2． 活体检测研究现状

根据活体检测国际标准[26]，基于对象的人脸活体检测方法可分为被动检测与主动检测。主动检测通常需要用户根据指令完成规定动作，根据连续帧动作完成情况判断是否为活体，操作繁琐且耗时较长，用户体验感较差；而被动检测通过对单帧人脸图像判断是否为活体，以其自然性、实时性，更适用于不同应用场景。

本文针对被动活体检测任务，根据人脸图像数据维度分作2D活体检测、伪3D活体检测以及3D活体检测。3D活体检测是指利用双目、结构光、ToF相机，获得点云图或深度图等3D空间结构信息进行活体检测的统称。接下来将对每一类活体检测进行简单介绍与总结。

图2-1 活体检测算法分类

2.1 2D活体检测

2D活体检测未利用任何的空间结构信息，现存的2D活体检测算法包括基于传统的特征提取与基于深度学习方法。传统的特征提取方法包括特征描述子如局部二值模式（LBP）[1]、梯度方向直方图（HOG）[3]、灰度共生矩阵（GLCM）[4]等，以及利用图像失真[8]分析活体与非活体之间的差异性；传统算法根据活体与欺骗攻击的差异来设计特征，最后通过分类器决策；基于深度学习方法则是使用卷积神经网络将低阶特征(像素、纹理、方向等)逐层编码，获取图像的高阶表示。

在算法复杂度层面，传统的算法复杂度低但准确率相对较低。针对手动设计的差异如纹理、颜色等，在样本自身或者外部因素发生变化时，算法性能受到极大的影响，算法自身的泛化性和鲁棒性较差。如Schwartz等[4]利用灰度共生矩阵（GLCM）表征人脸图像灰度空间内方向、变换快慢和幅度的综合信息。基于深度学习算法的复杂度和准确率相对较高，Yang等[10]利用卷积神经网络（CNN）进行端到端的有监督学习，将活体检测当做一个二分类任务，自动提取图像特征，并直接用参数表达。与传统方法不同的是，深度学习算法的特征理解具有不可解释性，但是其自适应特征提取过程在一定程度上增强活体检测算法的泛化性能。同时深度神经网络也存在的过拟合、梯度消失、梯度爆炸等一系列问题。

2.2 伪3D活体检测

伪3D活体检测指基于RGB图像使用深度估计算法间接得到空间结构信息的活体检测算法。Wang等[15]从RGB图像中恢复稀疏的3D面部结构以进行活体检测，这也是首次将估计的3D结构信息用于活体检测。Atoum等[16]则利用RGB图像估计深度信息，设计双流CNN网络结合颜色纹理与深度结构特征实现活体检测算法，其估计3D深度信息的过程是：将训练图像从RGB空间转化到HSV、YCbCr空间，利用3D脸部匹配算法与3DMM模型计算深度图像标签。伪3D活体检测利用RGB图像估计深度信息，虽然不需要额外的深度相机设备进行采集3D数据，但是除了存在计算量大的缺点之外，最关键的是估计数据与实测数据存在较大偏差，直接影响了活体检测的准确性。

2.3 3D活体检测

3D活体检测则直接利用深度相机获取空间结构信息实现活体检测算法。Wang等[21]利用Kinect深度相机采集的深度信息，通过提取深度图的LBP特征以及CNN学习到RGB图像的纹理特征，再送入SVM分类完成活体检测。Zhang等[19][20]公开了大尺度、多模态