High Quality Facial Surface and Texture Synthesis via Generative Adversarial Networks

ECCV 2018 workshop paper

##内容：
利用GAN来模拟参数化的人体纹理空间，通过学习每个纹理的最佳3DMM系数来生成相应的面部几何图形。生成的图像被映射到相应的几何图形上，以获得新的高分辨率三维面。
##3DMM缺陷：
在3D人脸的背景下，最常用的几何图形和纹理的表示和合成模型之一是线性表示的3DMM，3DMM能够提供它所构成的各种数据的新样本。然而，由于生成模型服从高斯分布，因此生成过程很容易产生不可信的样本。从下面的数据分布便可看出其中的差异：

论文所提方法：
作者构建了一个3D人脸扫描数据集。通过对齐面部几何图形，我们能够使用通用参数化将面部纹理映射到2D图像中。这些图像构成了人脸纹理的训练数据，用于生成新的合理的纹理。最后，通过学习数据集中纹理和几何之间的关系，采用失真效果最低的最小平方法的方式将每个纹理与一个定制的几何图形结合起来。
数据采集管道
被设计来对齐人脸顶点到顶点的3D扫描，并使用预定义的通用变换将它们的纹理映射到2D平面上。
在管道的对齐阶段，我们在每个扫描和面部模板网格之间执行一个顶点对顶点的对应。根据每次扫描的几何结构，在之前获得的面部地标点的指导下，通过变形模板面部网格进行对齐。变形过程使中的能量项最小化。能量由三项组成，这三项有助于最终的校准。第一项累加目标上的面标点与模板上的面标点之间的距离。第二项的目标是最小化模板上所有网格点到目标表面的距离。第三项作为正则化，惩罚非光滑变形。采用梯度下降法使能量最小化，直至收敛。这种对齐过程是数据准备管道的基础。一旦变形的模板与原始扫描正确对齐，纹理就会使用Blender的动画渲染工具箱中内置的光线投射技术从扫描中转移到模板中。然后使用一次构造的预定义通用映射将纹理从模板映射到2D平面。结果，所有扫描的纹理在一个通用映射下语义对齐。

Synthesizing the Geometry–给定纹理生成合理几何图形的方法
1.Random Geometries–最简单
选取几何系数最简单的方法是利用三维模型的多变量正态分布假设来选取随机系数。为每个面选择随机几何图形的问题是纹理和几何图形之间的相关性被忽略了。例如，面部纹理可以表示与特定几何特征相关的特定种族或性别。这种方法的优点是非常简单和快速，并且可以从一个生成的纹理创建许多标识。
2.Nearest neighbors
给定一个面部纹理，一个简单的方法来获得一个既合理又可能适合纹理的几何图形是通过在数据中找到一个具有相似纹理的脸，然后获取它的几何图形。得到的几何图形很可能与纹理相匹配，而且不会丢失它的高频。然而，以这种方式生成的几何图形将被限制在一小组可能的几何图形中。从根本上说，几何图形的确会保留精确的几何细节，但这些细节与生成的纹理的细微细节并不一致。例如，脸上的痣纹理就不会有相应的曲线几何形状。
3.Maximum likelihood approach
回到3DMM公式，获得最可能适合纹理的几何系数的一种合适方法是使用最大似然近似。
4.Least squares approach
最大似然法通常用于数据量较少且可以对数据分布进行一些假设的情况。当有足够的数据样本时，使用最小二乘化方法来学习或估计参数通常是更有益和直接的。且在测试方法中，LS方法产生的失真最小。
5.Neutral face geometries
在某些情况下，我们希望只获得具有中性表情的面部几何，为了估计上述每个方法的几何形状，同时将其约束为中性表情，我们建议简单地用数据集中相同身份的中性几何形状替换G（生成器）中的任何几何形状gi。
原文链接：http://arxiv.org/abs/1808.08281