原文下载：https://arxiv.org/abs/1903.03785
CVPR 2019
【注】此翻译不是全文详细翻译，并且根据本人工作所需来进行翻译
Abstract
1.Introduction
2.Face and head model literature
3.Face and head shape combination
3.1.Regression modelling
3.2.Gaussian process modeling
3.3.Model Refinement
4.Intrinstic evaluation of CFHM models
5.Head reconstruction from single images
6.Conclusion
Abstract
我们发现了一个以前没有受到关注的问题：是否有可能将两个或多个3DMM组合在一起？这些3DMM （a）是使用可能仅部分重叠的不同模板构建的;（b）具有不同的表示能力（ c）是根据可能无法公开获得的不同数据集构建的
在回答这个问题时，我们做出了两个贡献。
首先，我们提出了两种解决上述问题的方法： i.使用回归器来补充其中一个模型的缺失部分； ii.使用Gaussian Process框架来混合来自多个模型的协方差矩阵。
其次，作为我们方法的示例应用，我们建立了一个新的面部和头部形状模型，该模型将LSFM与LYHM相结合，从而拥有先进的性能，并在很大程度上优于现有的头部模型。
最后，作为一项应用实验，我们通过利用我们提出的large-scale model（就是上面建立的模型）与FaceWarehouse blendshapes结合使用，从单个不受约束的图像中重建full head model。
1.Introduction
由于其能够推断和表示3D surface 的能力，3D可变形模型（3DMM）在计算机视觉，计算机图形，生物识别和医学成像中具有许多应用[4、15、1、26]。要正确训练3DMM，需要许多已配准的原始3D图像（“扫描图”），而这需要大量的时间和精力来收集和注释带有meta data的原始3D图像。有时，只有生成的3DMM可供研究团体使用，而不能使用原始3D图像。由于日益严格的数据保护法规，对于人脸/头部的3D图像尤其如此。此外，即使3DMMs具有重叠的部分，它们的分辨率和表达详细的形状变化的能力也可能完全不同，并且我们希望在单个模型中捕获多个3DMM的最佳属性。但是，目前很难组合和丰富具有不同属性的现有3DMM，这些属性描述了没有此类原始数据的对象的不同部分。**因此，在本文中，我们提出了一种通用方法，可以将来自对象类不同部分的3DMM组合到单个3DMM中。**由于它们在计算机视觉社区中的广泛使用，因此我们融合了人脸和整个人头的3DMM，以此作为示例，**从而创建了第一个combined, large-scale, full-head morphable model。**该技术易于扩展到合成包含耳朵[10]和身体的详细模型，并且确实适用于3DMM很好描述的任何对象类别。
更具体地说，尽管在身份[17、30、28]和表情[8、29]方面都有很多人脸模型，但很少涉及完整的头部结构[11]。 建立描述大规模人类头部结构的高质量，大规模统计模型，为众多学科铺平了道路。 首先，它将协助颅面临床医生进行诊断，手术计划和评估。 其次，基于面部的几何形状按比例生成正确的头部模型将有助于计算机图形设计人员创建逼真的头像表示。 最后，头部模型将可以实现从数据不足的来源（例如2D图像）中重建完整的头部表示。
我们的主要贡献是：
（i）一种旨在融合基于形状的3DMM的方法，以人脸和头部为例。 （请注意，3DMM的纹理成分不在本文讨论范围内，也不是我们未来工作的主题。）特别是，我们提出了一种基于潜在形状参数的回归方法以及一种协方差组合方法，该方法利用Gaussian process framework
（ii）关于种族，年龄和性别的combined large-scale statistical human head model ，其远比任何其他现有的人头变形模型都更加准确-我们将其公开提供给研究团体，该模型包括有和没有眼睛和牙齿的版本。（目前还没有找到这个公开的模型，稍后找到了会进行更新）
（iii）应用实验，其中我们利用组合的3DMM从不受约束的单个图像执行全头重建，还利用FaceWarehouse blendshapes处理面部表情。
2.Face and head model literature
大致就是一些相关工作介绍
3.Face and head shape combination
在本节中，我们提出将LSFM人脸模型与LYHM全头模型结合的两种方法。 第一种方法利用PCA参数并解决线性最小二乘问题以逼近整个头部形状，而第二种方法则构造了一个组合协方差矩阵，该协方差矩阵后来在高斯过程可变形模型（GPMM）中被用作内核[22]。
3.1Regression modelling
图2展示了整个流程，包括1）回归矩阵计算，2）模型组合 ，3）全头模型注册，然后进行PCA建模。 现在描述每个阶段。
对于阶段1，将具有N个点的3D网格（形状）表示为一个3N×1矢量
LYHM（一个full head 3DMM，获取地址）有Nh个点。
其中mh是平均head model，Uh为通过PCA分析出来的形状主成分，是个正交矩阵，ph为对应的形状系数。
其实就相当于下面这个公式，只是表示方法不太一样。
LSFM 同理 Nf个点
【注】可以看一下LYHM,BFM(相对来说容易获取的face model，获取地址，出了很多版本了，常用的为09版），LSFM的区别
【注】以下步骤为自己看原文结合自己的理解
1.利用公式（2）来随机生成nr个full head model instaces。这样子我们就有了nr个ph。
2.对生成的nr个full head model instance与LSFM的mean face使用NICP来获得full head model instances的面部部分，并根据LSFM拓扑对其进行描述。一旦获取了这些已配准的网格，就将它们投影到LSFM子空间，然后检索相应的形状参数。 因此，对于每个随机产生的full head model instance，都有一对分别对应于整个头部表示和面部区域的形状参数（ph，pf）。
3.使用Ch来保存nr个ph,Ch为nhxnr大小的矩阵。同理，使用Cf来保存nr个pf,Cf为nfxnr大小的矩阵。
4.希望找到一个矩阵Wh.f来讲pf映射到ph上去·。通过使用最小线性二乘发最小化以下公式来求得Wh,f
5.公式（4）通过正规方程可推出
所以给定一个3D face instance Sf,我们可以通过以下公式来补全他的整个头部结构
通过这种方式，我们可以根据LYHM拓扑图绘制和预测任何给定面部形状的颅骨区域的形状。
【注】github上有关注这个步骤的代码，大家可以自己试一下，看代码能更好理解方法。（可能是别人复现的）
未完待续
扫一扫
5193
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
