标题:JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling
链接:https://arxiv.org/pdf/2007.06755
本文主要目的就是提出了一种新的3D人脸表示方式。
之前的3DMM模型,比如BFM和FLAME基本是靠一个个顶点来表示人脸的,而这篇文章着重引入了基于关节(joint)的蒙版(skinning weights)表示方式。其实在FLAME中也有用到关节,即脖子,下颌和双眼,但本文将关节进一步增加到了52个,从而将每个顶点都分配到对应的关节上。
这样做的好处主要是可以帮助模型大大的减小参数量,作者说是可以减少10~20倍的参数量,但效果却不降低。
作者在本文按照他所设定的拓扑顺序标注了94个样本,并基于此设计了一套可以自动计算蒙版权重的网络
本文的流程分为三个部分,一是黄色部分,目的是通过半手动的方式生成训练数据(蒙版的ground truth),然后放入橘黄色的VAE,让模型学会生成真实的蒙版权重。然后在放入蓝色部分来表示当前的面部。
有挺多地方不太理解,需要进一步阅读