标题:Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction
链接:http://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w19/Tewari_MoFA_Model-Based_Deep_ICCV_2017_paper.pdf
本文是处理2D人脸到3D人脸的无监督训练的问题。
主要亮点是提出了一个可微分的渲染器。
具体结构如图所示:
输入就是一张简单的2D图片,2D landmark是可选项,不一定要输入,输入的话可以加速模型的收敛
encoder的目的就是将图片编码为语义特征,即位姿,形状,表情,面部反射(纹理)和光照。
然后通过可微分的解码器将这些语义特征渲染(解码)成对应的3D模型,然后通过重构损失来无监督的训练整个模型。
中间可以引入2Dlandmark来加速模型的收敛。
[ICCVw2017]MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular
于 2022-01-26 13:17:44 首次发布