Learning a model of facial shape and expression from 4D scans

Fig. 1. FLAME example. Top: Samples of the D3DFACS dataset. Middle: Model-only registration. Bottom: Expression transfer to Beeler et al. [2011] subject using model only

3D人脸建模领域在高端和低端方法之间存在很大差距。 在高端，最好的面部动画与真人无法区分，但这需要大量的手工劳动。 在低端，消费者深度传感器的面部捕捉依赖于3D表情模型，这些模型的表现力不足以捕捉自然面部形状和表情的变化。 我们通过从数千个精确对齐的3D扫描中学习面部模型来寻求中间立场。 我们的FLAME模型（使用关节模型和表达式学习的面孔）旨在与现有的图形软件配合使用，并且易于适应数据。 FLAME使用从人头3800次扫描训练的线性形状空间。 FLAME将这种线性形状空间与铰接的下巴，颈部和眼球，依赖于姿势的矫正混合形状以及其他全局表达混合形状结合在一起。从D3DFACS数据集中的4D面部序列以及附加的4D序列学习依赖于姿势和表达的关节。 我们准确地将模板网格注册到扫描序列，并使D3DFACS注册可用于研究目的。 总的来说，模型是通过超过33,000次扫描进行训练的。 FLAME是低维度的，但比FaceWarehouse模型和巴塞尔人脸模型更具表现力。我们将FLAME与这些模型进行比较，将它们拟合到静态3D扫描和4D序列使用相同的优化方法。 FLAME更加准确，可用于研究目的（http://flame.is.tue.mpg.de）。

1 INTRODUCTION