[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

标题：Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

链接：https://www.researchgate.net/profile/Jianzhu-Guo/publication/346771019_Beyond_3DMM_Space_Towards_Fine-Grained_3D_Face_Reconstruction/links/5fd601cb299bf1408806ba10/Beyond-3DMM-Space-Towards-Fine-Grained-3D-Face-Reconstruction.pdf

本文的目标是解决现如今人脸重建数据集不够的问题，作者认为未来随着深度相机的普及，我们将会有无穷多的RGBD图像用于训练，因此他试图寻找一种从RGBD图像中做人脸重建的方式。主要有两大贡献：

 

1.构建了一个新的3D人脸数据集FG3D

2.提出了一个细粒度重建网络FGNet

首先，为了构建FG3D这个数据集，作者收集了一些RGBD数据集，然后使用ICP的配准方法将3DMM模型拟合到RGBD图上，从而补齐面部的所有网格信息。

但是RGBD图的一个特性是很多地方都有空缺，因此作者就直接做了平滑处理，将有深度信息的点连接，从而补全全图的空间信息。

然后就是FGNet，这个网络的目标是在现有3DMM模型的基础上增加形状细节，从而让形状更贴合真实的图像。而增加细节的方式你就是直接预测一个UV map，最后将UV map加到3D模型上就完事。

作者提出了两个方式来预测这个UV map：

1. 相机视角：就是直接给CNN输入原始图像和PNCC图像（PNCC就是用色彩来表示坐标的空间信息的2D图像）来直接预测UV map，这个的好处就是保证信息绝对没有遗漏，但问题是模型可能需要从一些很小的细节来预测某些部位，例如耳朵等被遮挡的部分，这会让模型比较难以收敛。

2.模型视角：这里作者将3DMM模型先配准到面部，然后将图像中的人脸纹理投射到UV map中，之后做个attention来提取出重要的部分（应该是没被挡住的部分），之后与形状的UV map做拼接，输入CNN，来预测最终的形变UV map。这样的好处就是输入图像的结构永远是一致的，因为都是UV map嘛，所以模型可能会比较好学。

最后证明两个方式都有效，但是模型视角更好一些。