标题:Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction
本文的目标是解决现如今人脸重建数据集不够的问题,作者认为未来随着深度相机的普及,我们将会有无穷多的RGBD图像用于训练,因此他试图寻找一种从RGBD图像中做人脸重建的方式。主要有两大贡献:
1.构建了一个新的3D人脸数据集FG3D
2.提出了一个细粒度重建网络FGNet
首先,为了构建FG3D这个数据集,作者收集了一些RGBD数据集,然后使用ICP的配准方法将3DMM模型拟合到RGBD图上,从而补齐面部的所有网格信息。
但是RGBD图的一个特性是很多地方都有空缺,因此作者就直接做了平滑处理,将有深度信息的点连接,从而补全全图的空间信息。
然后就是FGNet,这个网络的目标是在现有3DMM模型的基础上增加形状细节,从而让形状更贴合真实的图像。而增加细节的方式你就是直接预测一个UV map,最后将UV map加到3D模型上就完事。
作者提出了两个方式来预测这个UV map:
1. 相机视角:就是直接给CNN输入原始图像和PNCC图像(PNCC就是用色彩来表示坐标的空间信息的2D图像)来直接预测UV map,这个的好处就是保证信息绝对没有遗漏,但问题是模型可能需要从一些很小的细节来预测某些部位,例如耳朵等被遮挡的部分,这会让模型比较难以收敛。
2.模型视角:这里作者将3DMM模型先配准到面部,然后将图像中的人脸纹理投射到UV map中,之后做个attention来提取出重要的部分(应该是没被挡住的部分),之后与形状的UV map做拼接,输入CNN,来预测最终的形变UV map。这样的好处就是输入图像的结构永远是一致的,因为都是UV map嘛,所以模型可能会比较好学。
最后证明两个方式都有效,但是模型视角更好一些。