活体检测 A Dual-stream Framework for 3D Mask Face Presentation Attack Detection 学习笔记

论文链接：https://openaccess.thecvf.com/content/ICCV2021W/ChaLearn_FAS/papers/Chen_A_Dual-Stream_Framework_for_3D_Mask_Face_Presentation_Attack_Detection_ICCVW_2021_paper.pdf

动机

由于 2D 攻击的简单性及普遍性，之前的人脸识别系统 FRS 主要防范的是 2D 攻击。但随着材料学及 3D 打印技术的发展，出现了越来越多的类人脸 3D 头模，且制作成本不高。与传统的 2D 攻击相比，3D 攻击在颜色、纹理以及几何结构上都更加逼真，如下图所示，

之前的防 3D 头模攻击的方法致力于寻找真人脸皮肤与假体材料之间的差异，但这些方法在面对高保真的头模攻击时，效果并不鲁棒。还有些研究使用深度特征来防 3D 头模，但这些方法在面临未知的 3D 攻击时，模型性能严重退化。

创新点

（1）提出了包含标准卷积分支和包含中心差分卷积分支的双流框架，这两个分支互为补充，有助于 FRS 防高保真的 3D 头模攻击

（2）将 3D 头模攻击分成多个类别，并使用了数据增强和标签平滑

方法论

模型的整体框架如下图所示，

1）数据预处理

虽然 HIFIMask 提供了人脸框裁剪，但仍有一些 bad case，如下图所示，

因此，作者提出了几种策略来解决上述 bad case，

（a）高精人脸检测

使用 DSFD 人脸检测器来检测 HIFIMask 数据集上的人脸，并将人脸框扩大了 1.5 倍来获取更多的脸部信息

（b）噪声移除

作者查看了 DSFD 人脸检测器输出的人脸置信度分数，发现有少部分分数很低，甚至接近 0。因此，作者在训练集中移除了置信度分数小于 0.9 的人脸图片

（c）黑边移除

作者设计了一个简单但高效的黑边移除算法来删除图片中的黑边区域。具体来说，作者先把输入图片转成灰度图，然后找到所有像素值为 0 的点，得到一个二值图。接着，从四个方向扫描这个二值图以寻找黑边。在扫描期间，如果某行或某列的平均像素值大于预设的阈值 t1，该行或该列就会被认为是一个黑边。如果黑边数小于预设的阈值 t2，则认为该图片是一张正常的图片

（d）数据增强

训练期间，作者使用了以下数据增强方法：随机旋转、cutout、颜色抖动、高斯噪声、运动模糊、图片打乱、随机亮度对比，增强后的图片如下图所示，

2）网络结构

作者使用了轻量化网络 ResNet9 作为主干网络，并结合了标准卷积与 CDC 来获得一个双流网络，该网络有助于寻找 3D 头模内在的信息。具体来说，ResNet9 只包含了 9 层网络，并使用 CELU 来替换掉 ReLU，此外，将池化层放在卷积层后，可有效减少推理时间。标准卷积与 CDC 的公式分别为：

作者将从两个分支中提取的提取特征连接起来进行分类。此外，还在每个分支后面插入了一个辅助分类器，以增强强度级别的学习信息和梯度级信息。

3）损失函数

现实中的 3D 头模攻击在材料和生成方面各有不同。因此，作者没有使用二分类，而是利用多分类损失，通过标签平滑调整以获得更好的泛化性。

（a）标签平滑

为了防止过拟合，作者在损失函数中使用了标签平滑正则化 (平滑参数为 0.1)

（b）多分类损失

由于 HIFIMask 数据集中只有两种 3D 攻击类型，作者将分类问题看作三分类，公式如下：

其中，C 表示类别数。

（c）总体损失

由于作者的框架分别根据来自 CNN 分支、CDC 分支和 concat 分支的特征预测三个不同的值，因此作者使用了三个损失函数来进行优化，整体损失函数公式如下：

（d）逻辑校准 (Logits Temperature Scaling)

为最小化验证集和测试集之间的分布差异，作者使用逻辑温度缩放 (一种后处理方式) 来校准输出分布。具体来说，作者将每种攻击类型的 logits 相加，形成一个叠加的攻击 logits。然后在 softmax 操作之前，作者将真人 logits 除以 3.6 倍，将假体攻击 logits 除以 5.0 倍。如下图所示，温度缩放使分布更加均匀，使模型泛化性更强 (下图左右两张图应该放反了)

实验结果

Chalearn 3D 高保真面具攻击检测挑战赛第二阶段的结果及消融实验结果分别如下：

 模型最后一层特征的可视化结果如下：

特征分布的可视化结果如下：