[ICCV2019]DF2Net: A Dense-Fine-Finer Network for Detailed 3D Face Reconstruction

标题：DF2Net: A Dense-Fine-Finer Network for Detailed 3D Face Reconstruction

链接：https://openaccess.thecvf.com/content_ICCV_2019/papers/Zeng_DF2Net_A_Dense-Fine-Finer_Network_for_Detailed_3D_Face_Reconstruction_ICCV_2019_paper.pdf

这篇文章讲的是如何从单张图片中获得更为精细的3D建模。作者采用的是从粗糙到细腻的不断优化结构。包含了一个生成器（D-Net）和两个优化器（F-Net和Fr-Net）。

为了训练模型，作者收集了三套数据：

1.3D合成数据：就是通过3DMM调节参数后做渲染得到的2D和3D标签的配对。用于训练D-Net

2.2D重建数据：就是自己收集一些2D图片，然后用别人的模型生成3D标签。用于训练D-Net和F-Net

3.真实数据：是直接用的CACD里的真实数据，用于Fr-Net的训练

上面的结构图已经很好地反映了模型的结构，也就是分为三部分：

1. D-Net：就是一个U-Net结构，输入2D图片，输出深度图。用的loss是基于像素的深度和法线l1损失。

2.F-Net：用的基于shape-from-shading的精炼方案，说是可以恢复高频细节。输入是深度图和2D图像，输出是精炼过的深度图。loss就是基于像素的阴影误差(l2)和深度损失(l1)

3.Fr-Net：用的是一套可以学习多分辨率输入的结构，目的是从不同清晰度的图像中恢复细节。输入就是图像和深度图，输出就是最终深度图。loss和F-Net一样，只是给阴影损失加了更大的权重。