Unsupervised Training for 3D Morphable Model Regression论文笔记

1、abstract

本文由普林斯顿大学、谷歌和麻省理工学院合作完成，是 CVPR 2018 的 spotlight 文章。使用无监督训练的方法基于 3DMM 进行人脸三维重建。论文基于编码器和解码器模型，创新性地将人脸识别网络引入训练的损失函数，使得生成的 3D 人脸能很好地保留了输入图片的人脸个体特征。该模型旨在拟合形状和纹理，并没有学习姿态表情和光照。算法的编码器接受图像作为输入，输出用于 3DMM 模型的参数。解码器接受参数后合成 3D 人脸。为了使网络不仅能保持个体信息，还能生成自然真实的人脸，作者提出了 3 个新的损失函数，即批分布损失（batch distribution loss）、回环损失（loopback loss）和多视角身份损失（multi-view identity loss）。批分布损失可使每个批的统计量与 3DMM 的统计量一致。回环损失可保证生成的 3D 人脸模型的2D成像图片重新进入编码器得到的参数和原图的参数尽量一致。多视角身份损失能使得模型学习到独立于观察角度的个体特征。实验结果说明，模型不仅仅可以生成与输入图像高度相似的 3D 人脸，而且生成的人脸独立于输入的表情和姿态，甚至被遮挡的人脸也可以达到不错的生成效果。

文章创新点：.

提出方法，训练回归网络——消除了对监督训练数据的需求和对逆向渲染的依赖来重现的网络
图像像素

model组成：

• Encoder
• Decoder
  Differentiable Renderer：论文采用differentiable rasterizer based on a deferred shading model：光栅化器生成包含三角形 ID 和每个像素的重心坐标的屏幕空间缓冲区。渲染之后，使用重心坐标和 ID 在像素处插入每个顶点的属性，例如颜色和法线。 这种方法允许以全视角渲染和可以在屏幕空间中计算的任何照明模型，从而防止图像质量成为准确训练的瓶颈。 渲染器的源代码是公开的（http://github.com/google/tf_mesh_renderer）光栅化导数是为重心坐标计算的，而不是三角形 ID。 我们将重心坐标相对于顶点位置的导数的定义扩展到包括位于三角形边界外的负重心坐标。 包括负重心坐标和省略三角形 ID 有效地将形状视为局部平面，这是远离遮挡边界的可接受的近似值。 人脸基本上是平滑的形状，几乎没有遮挡边界，所以这种近似在我们的例子中是有效的，但如果损失的主要来源与平移或遮挡有关，它可能会带来问题。
  光照模型：phong模型
• LOSS函数：