人脸识别-3D:Learning from Millions of 3D Scans for Large-scale 3D Face Recognition

Learning from Millions of 3D Scans for Large-scale 3D Face Recognition

从百万张3D人脸图片中学习3D人脸识别

2018 CVPR 西澳大利亚大学

摘要

原文	译文
In this backdrop, we propose a method for generating a large corpus of labeled 3D face identities and their multiple instances for training and a protocol for merging the most challenging existing 3D datasets for testing.	首先，我们提出了一张数据增强的方法，并且将这些3D图像变成能够训练的样本；提出一种protocol协议，将现有的最有挑战性的3D数据集合在一起以便测试。
We also propose the first deep CNN model designed specifically for 3D face recognition and trained on 3.1 Million 3D facial scans of 100K identities.	第二，我们提出了第一个三维人脸的CNN网络模型，并且在100k个人的3.1M样本上进行了训练。
Our test dataset comprises 1,853 identities with a single 3D scan in the gallery and another 31K scans as probes, which is several orders of magnitude larger than existing ones. Without fine tuning on this dataset, our network already outperforms state of the art face recognition by over 10%. We fine tune our network on the gallery set to perform end-to-end large scale 3D face recognition which further improves accuracy.	我们的测试集包括1853个人的一张3D点云作为gallery，其他的31k张作为probe。在不fine-tuning的情况下，我们的网络比现有的方法准确率高10%；如果fine tuning的话，准确率还能提高。

main contribution

1. 3D数据增强
2. 现有的3D数据集全部作为测试集
3. 提出的三维人脸识别网络F3DNet（已公开）

data augmentation

数据增强是我认为本文最大的亮点

从上表可以看出，原本真实的3D face只有1785类，作者通过dense correspondence model和软件生成的方式，新生成了近10万个新的类别，然后再用expression和pose生成类内的不同图片，最终将训练集从1785扩大到了3百万！
具体的图片生成方式包括两种，一个使用匹配模型，将原本两个不像的人生成一个平均；一个是用了一款商业软件Singular Inversions。
expression是软件自带的，pose是通过模型旋转得到的。

FR3DNet

作者的另一个亮点在于如何把点云数据变成现在的2D神经网络能接受的输入。
点云（x,y,z）通过gridfit算法生成深度图，作为RGB的第一个通道；
点云的法向量的方位角azimuth和俯仰角elevation用girddata算法生成图，作为RGB剩下的两个通道。
即用现在dae图代替原来的RGB图。
网络设计上，作者再VGGFace的基础上，提出用大的卷积核，大的卷积核能更好的感受点云的形状信息。

Result

先放结果

作者的实验把现有的能找到的3D人脸数据集全部测了一遍，而且效果很好，如果在这些数据集上fine tuning 效果会更好。。
结果就不分析了，自己看数字感受吧，，以后的3D人脸的论文都要拿来和这篇论文比啊，，慌。。