(1)3DMM统计模型,形状和纹理PCA基,用来作为统计先验计算非线性的最小二乘优化来图像重建
(2)3DMM作为生成模型,利用CNN学习非线性映射(回归)
(3)本文,非线性联合学习形状和纹理(解码器不仅仅得到3d形状),网格卷积GCN,轻量级模型,2500fps cpu效率,无监督/自监督
网格卷积的优点:网络参数量少,模型大小17MB,估计3d形状300fps,Geometric Deep Learning
CoMA可以比PCA更好地表达表情,而且仅用8维度隐向量
Related WORK
self-supervised techniques:
- Self-supervised multi-level face model learning for monocular reconstruction at over 250 hz. In CVPR, 2018.
使用3DMM模型,和额外的网络结构学习3DMM空间之外的信息 Nonlinear 3d face morphabl