Led3D: A Lightweight and Efficient Deep Approach to Recognizing Low-quality 3D Faces 论文笔记

论文目的：

解决低质量三维人脸识别数据下的人脸识别准确率问题。

主要贡献：

1）构建一个轻量化的网络结构，能够做到实时（136fps）特征提取。

2）构建了一个低质量的三维数据集Lock3DFace，并且提出了点云数据恢复方法，包括数据修复、增强等步骤。

详细描述：

1）网络结构方面

Multi-Scale Feature Fusion（多尺度特征融合），通过MaxPooling降维，将深浅层特征进行融合，也是当前比较流行的做法，应该有效果。

Spatial Attention Vectorization（空间注意力向量机制），通俗理解就是在网络结束的时候，加一个960*8*8的卷积核得到一个一维向量。乘回去原来的卷积核，然后dropout+FC+softmax，不知道这里理解对不对。

2）数据处理方面

低质量数据精细化——

点云数据恢复：由于原始数据人脸较小，只有180*180，首先手工标记鼻尖，然后通过线性插值的方式将人脸放大到360*360。

鼻尖校准：在手动标记的鼻尖位置的10*10范围内，取中值作为点来标记鼻尖，并根据鼻尖位置去掉背景，得到插值后的人脸。

离群点去除：通过设置临近点之间阈值来去除离群点。

人脸投射：将三维点云数据投射到二维（128*128）大小，并归一化到0-255之间。

孔洞填充：主要是对d的操作，对二值化的D值根据集合模型进行重建。

人脸表示：使用人脸法向图表示人脸对NCIx，NCIy，NCIz进行堆叠，构成人脸。

3）数据增强

姿态生成：调整相机的参数，得到不同姿态下的人脸数据。

形状抖动：在数据集中加入高斯噪声，通过设置高斯噪声的参数来增强数据。

形状尺度：对原始图放大1.1倍，重新构建深度图。

交叉质量的数据生成：使用高质量的数据生成低质量的数据，通常人脸数据可以用Fi = [Xp,Yp,Zp]和Di=[dp]表示，前边表示一个人脸数据，后边表示深度的噪声。通过调整噪声数据生成低质量的数据。然后使用一个3*3的Maxinum filter来增大深度的干扰。

人脸ID增强：使用论文《S. Zulqarnain Gilani and A. Mian. Learning from millions of 3d scans for large-scale 3d face recognition.》的方法。

4）实验部分

数据集

Name	图片数	个体数	质量
Lock3DFace	5671	509	低
Bosphorus	4666	105	高
FRGC v2	4007	466	高

实验部分进步空间较大。