标题:Learning to Regress 3D Face Shape and Expression from an Image without 3D Supervision
链接:https://arxiv.org/pdf/1905.06817
目标
在弱监督的情况下训练一个从单张2D图片到3D人脸转换的模型。
主要思想
- 同一个人的面部形状是永远不变的,不受光照,表情,头发,化妆,遮挡的影响。
- 每个人的面部形状都是独一无二的(不考虑双胞胎的情况,因为太少,相对来说可以忽略不计)
方法
输入
训练的输入是一个人的多张照片+另一个人的单张照片
模型
RingNet中的每一个单元都是一个编码器+解码器的组合。
解码器就是一个不参与训练的FLAME模型,负责将输入的形状,表情,姿势参数解码成对应的3D人脸
编码器由一个预训练的ResNet-50和几个全连接层组成,输出一个159维的向量,也就是目标的形状,表情,姿势参数
训练
形状一致性损失:最小化同一个人照片之间的形状参数的L2距离,最大化不同人照片之间的形状参数的L2距离
2D特征损失:最小化真实landmark和预测landmark之间的L1距离。真实landmark是数据集中已经提供了的,预测landmark是通过将预测出的3D人脸的3D landmark映射到2D平面上得到的。
评价方式
使用给定的2D照片和扫描得到的3D模型作为基准,让模型通过2D照片预测出估计的3D模型,然后计算其与真实3D模型的差距。