第一篇人脸3D建模论文,开冲!
avatar:头像、化身、阿凡达
neural head avatars:神经脑袋头像??
LBS
线性蒙皮,通过记录每个骨骼上的部分点以替代记录所有表情而节省空间。
Abstract&Conclusion:
摘要和结论都描述了下自己的工作和模型的优异性
- 通过使用正则空间的三个网络生成完整真实的人脸形象,GANhead能够展现粗几何、详细的正常纹理。
- 通过形变模块后,生成的人脸形象可以直接由FLAME参数生成动画(使用LBS线性蒙皮算法)
- 大量的实验表明GANHead在人脸形象生成和原始扫描拟合有其优越性
Introduction:
介绍人脸化身模型需要满足的要求以及对当前的几种主流建模模型
要求:
- 完整:3D模型要包含整个头部,包括额头、脑后、头发区域
- 真实:头像应该展现出生动的纹理、详细的几何
- 可制动画:头像应该能完整的操纵姿势和表达、并能通过低维参数进行控制
- 生成的模型需要能够很灵活的应用到后续的任务中,所以,人脸头像模型最好是生成的,而不是进行内容判别
主流模型:
- 3DMMs(3D形变模型):通过使用注册网格建立已经被广泛使用,并应用PCA塑造及质感,但是将真实的原始扫描到有拓扑结构的模块中是很重要的,很难为如头发这种复杂区域定义固定拓扑,结果就是大部分方法只建模了面部区域,少部分建模了整张脸,同时,过分简单化的PCA使得模型缺乏真实感
- 一些判别模型成功的建模完整人脸几何和真实质地,但这些模型只能用于重建工作,没法生成新的样本,3D-aware GANs基于隐式表示,能够生成多种看起来连续的人脸图片,不仅如此,人头还是不完整,另外,很难通过3D-aware GANs对神经头像进行动画,最近,多种隐式生成模型做到了真实及可动画的人脸头像。 但是这些模型既不能生成有着满意几何的完成头型,也不能*??通过学习到的潜在代码进行隐式动画??*
- (吹了一波自己用的网络结构) 为此我们推出了GANHead,其既能生成多种真实的人脸头像,也能兼用参数化人脸模型的动画参数,通过学习MLPs(多层感知机,人工神经网络)的神经占据函数(三层网络能够生成粗糙的几何,细密的纹理和质地),GANHead能隐性的表示3D人脸。监督未注册的3D人脸皮肤。在标准空间通过自动解码结构定义网络。这个结构使得GANHead完成完整的、真实的生成结果,产生理想的生成结果。
- 如何控制动画参数时的隐性表达?我们延申了多元前向皮肤方法,以满足FLAME的形态和表达参数。受IMAvatar启发,形变区域使用基于LBS(线性蒙皮算法)的标准点定义。
- (总结自己模型的优势):
- 推出了一个生成动画头部模型,可以生成有着真实质地和详细几何的完整头部动画
- 生成的头像能够直接被FLAME参数使用,对无法观测到的动作和表达也很健壮
- 相比最新的算法,我们推出的模型能够达到预想的效果