【Light Reflection】《Aurora Guard：Real-Time Face Anti-Spoofing via Light Reflection》

bryant_meng

已于 2024-02-07 10:44:45 修改

阅读量858

点赞数 27

分类专栏： CNN / Transformer 文章标签：深度学习人工智能 FAS aurora guard depth

于 2024-02-07 10:36:34 首次发布

本文链接：https://blog.csdn.net/bryant_meng/article/details/136036877

版权

CNN / Transformer 专栏收录该内容

201 篇文章 7 订阅

订阅专栏

在这里插入图片描述

arXiv-2019

1 Background and Motivation

作者提出了一种基于 Light Reflection 的活检框架，能预测深度和 light CHAPTCHA，simple yet effective that has already been deployed in real-world systems serving for millions of users

验证码（CAPTCHA） 是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序

在这里插入图片描述

2 Related Work

Local Texture based Methods
Depth Sensor based Methods
Depth Estimated from Single Image
- 3D reconstruction from a single image is still highly under-constrained, since these methods suffer from missing solid 3D information clue. 作者利用的是 light reflection 来预测深度图
Lambertian Reflection based Methods

3 Advantages / Contributions

提出了一个 simple, fast yet effective face anti-spoofing method，不依赖特殊的硬件（eg 结构光）
提出了 cost-free depth recover net，根据 light reflection 来获取 normal cues，进而预测深度和真假
提出了 novel light CAPTCHA checking mechanism
提出了数据集，containing comprehensive spoof attacks on various imaging qualities and mobile ends is built

4 Method

Our method first extracts the normal cues via light reflection analysis, and then uses an end-to-end trainable multi-task Convolutional Neural Network (CNN) to not only recover subjects’ depth maps to assist liveness classification, but also provide the light CAPTCHA checking mechanism in the regression branch to further improve the system reliability

在这里插入图片描述
输入 $\{ ( \alpha_i , \beta_i) \}_{i=1} ^n$

4.1 Normal Cues from Light Reflection

朗伯模型（Lambert’s model） 是一种表面光照漫反射模型，描述了理想漫反射表面。朗伯模型假设物体表面平滑，入射光经过完全漫反射体表面的反射后在所有方向的辐射亮度相同，漫反射的光强与入射角的余弦成正比，而和反射方向无关。

Lambert’s model 假设下，对于在特定光照 $L_r下$ 拍摄的照片上任意一点 $p$ ，强度 $F_r(p)$ 公式：

在这里插入图片描述
$\rho_p$ 是 albedo

$K_a$ 是 ambient weight

$K_r$ 是 diffuse weight

$l$ 是 light source direction

$n_p$ 是 the point normal（法线）

当光迅速变化， $K_a$ 和 $l$ 不会随之变换，可以看作是常量。

作者用 PRNet 预测人脸关键点然后，做仿射变换，人脸对齐。在光照 $L r'$ 下另一张图中和 $p$ 对应的 $p'$ 的强度可以表示为：

在这里插入图片描述

然后可以获得图像上每一点的内积 $N_{∆r}(p)$ ，也即然后可以获得图像上每一点的内积N∆r§ ：
在这里插入图片描述

计算的时候， $p = p^{'}$ ， $\rho_p \cdot k_a$ 抵消掉了

实现的细节就不得而知了，后续找到更全面的理论再补充（简单的两帧相减？）

参考 Aurora Guard（1）

参考：Lambertian 反射(也叫理想散射)

Lambertian表面是指在一个固定的照明分布下从所有的视场方向上观测都具有相同亮度的表面，Lambertian表面不吸收任何入射光．Lambertian反射也叫散光反射，不管照明分布如何，Lambertian表面在所有的表面方向上接收并发散所有的入射照明，结果是每一个方向上都能看到相同数量的能量．

SurfaceColor = Emissive + Ambient + Diffuse + Specular
最终表面　　 = 放射光 + 环境光 + 漫反射 + 镜面反射

4.2 Multi-task CNN

在这里插入图片描述

liveness classification and light CAPTCHA regression， $u / c / r$ 对应的结构如下：

在这里插入图片描述
（1）Liveness Classification

二值交叉熵损失——label loss 二分类，和空间位置 softmax——pixel wise loss 深度图（每个点都做标签为1-256）

加权系数 $\lambda_{depth}$

深度图的监督信号来自 Intel 3D camera

（2）Light Parameter Regression
在这里插入图片描述

m 是帧数

$r_i$ is the ground truth light parameter residual of reflection frames $F_{r_i}$ and $F_{r_{i−1}}$ ，ground truth 的具体形式如何，不得而知（SNR？）

整个网络的损失如下
在这里插入图片描述
V 是 videos

we set the light CAPTCHA sequence to be composed by 4 types of light in random order（ $A_4^{4}$ = 24）

we set the rate of light changing identical to the frame rate, thus the frames hold different light reflection

The Signal-to-Noise Ratio (SNR) is adopted to check if the estimated light parameter sequence matches the ground truth sequence.

4.3 Dataset Collection

在这里插入图片描述

mainly collect 2D attacks

12, 000 live and spoof videos, from 200 subjects

用了很多款手机

在这里插入图片描述

根据攻击类型划分了三个子集，a per attack, screen attack and other complex attacks consisting of cropped paper photos, projection attacks, etc.

5 Experiments

5.1 Datasets and Metrics

数据集用的自己的

评价指标

False Rejection Rate (FRR),
False Acceptance Rate (FAR)
Half Total Error Rate (HTER),
HTER reaches its minimum when FAR=FRR, which is defined as Equal Error Rate (EER)，都是越小越好

FAR：False Acceptance Rate：FP / (TN + FP)，误识率，将错误的判别为正确的
FRR：False Rejection Rate：FN / (TP + FN )，拒识率，将正确的判别为错误的
HTER：Half Total Error Rate：(FAR + FRR) / 2，真假人脸中各自被判断错的比例之和的一半就是HTRE。

5.2 Ablation Study

（1）Effectiveness of Depth Supervision

在这里插入图片描述
引入深度监督后，效果提升， $\lambda = 0$ 时没有深度信息监督

（2）Light CAPTCHA Regression Branch

为 modality spoofing 攻击设计

在这里插入图片描述

不是太理解 modality spoofing，如果是专门针对反光来攻击的（which directly forges the desired reflection patterns），作者的这种编码可以挡住吗？

在这里插入图片描述

类似于信息编码，网络拟合这种编码，输出比较接近的（信噪比低）就是真？输出偏差较大的就是假

固定的视频循环必须匹配到随机产生的光验证码才能通过验证（fixed video loop must match the randomly generated CAPTHCHA to bypass our system）——这句话我豁然开朗，为什么叫验证码了

4 types of casting light in a random order for every checking trial

在这里插入图片描述

5.3 Comparison to State-of-the-Art Methods

（1）Depth Map Estimation
在这里插入图片描述

It should also be noted that our method achieves comparable results to the Intel 3D sensor that can absolutely detect 2D presentation attacks without failure cases

（2）Face Anti-Spoofing

在这里插入图片描述
在自己的数据集上，对比了几种方法

在这里插入图片描述
真人只能现场打光测，所以作者仅测试了假人攻击（FAR 误识率，将错误的判别为正确的）

（3）Model Generalization

在这里插入图片描述
retains half of the degradation on F AR and F RR, which demonstrates its robust generalization ability

（4）Running Time Comparison

在这里插入图片描述

左下角最好

绿色 GPU，红色 CPU，其他颜色是手机跑的

图例红绿反了，应该不是我红绿色盲吧

5.4 Comparison to Hardware-based Method

和 Structured-Light 3D (SL3D) PK

在这里插入图片描述

取得了相当的结果

6 Conclusion（own） / Future work

Since objects with rough surfaces are diffuse reflectors (e.g. human face), light casted onto surface point is scattered and reflected, and then perceived as the final imaging in the camera.
3D reconstruction from a single image is a highly under-constrained task due to the lack of strong prior of object shapes
Presentation Attack Instruments
modality spoofing，which directly forges the desired reflection patterns
light CHAPTCHA 如何编码？（只知道是用SNR去比较编码的信号和网络预测的信号——4种光照，不同的排列形式），normal cues 如何计算？（两帧的光强相减？背后的原理还不是很清楚）
文章创新性不错，要是有源码就更完美了，非官方实现版本（仅有网络部分）：https://github.com/Zhengtq/Aurora-Guard-Real-Time-Face-Anti-Spoofing-via-Light-Reflection