MVF-Net: Multi-View 3D Face Morphable Model Regression（2019 CVPR）

1.解决的问题

从一组多视角的人脸图像集中恢复三维人脸几何。本文以一组多视图人脸图像作为输入，研究了基于3DMM的形状恢复法。

2.采用的方法

采用端到端的可训练的卷积神经网络（CNN）从多视图输入中回归3DMM参数。多视图几何约束通过利用一种新的自监督视图对齐损失，在不同视图之间建立密集的对应关系，被纳入到网络中。视图对齐损失的主要组成部分是一个可微的密集光流估计器，它可以在输入视图和异步呈现之间反向传播对齐错误。通过最小化视图对齐损失，可以恢复更好的三维形状，从而使从一个视图到另一个视图的合成投影能够更好地与观察到的图像对齐。

3.采用的模型

3.1概述

采用一个端到端的可训练的CNN来从同一个人不同角度的多张人脸图片中回归出3DMM参数。为了建立像传统多视图三维重建方法那样的多试图几何约束，目前我们假设人脸图像是在相同的光照条件下同时拍摄的。但是本文的方法能够处理光照的变化情况。为了简化，我们采取三维视图设置来描述我们的方法。值得注意的是，本模型同样适合于其他数量的输入视图。

我们通过一个共享权重的CNN从每一张输入图片学习特征，然后将这些特征连接起来来回归一组3DMM参数。不同的是，我们根据它的独立的特征来回归出每一个输入视图的姿态参数。根据姿态参数和3DMM参数，我们能够从每张输入图像中渲染一个纹理3D面部模型。在三视图背景下，得到三个纹理3D人脸模型，它们具有三个相同的基本3D形状，但是纹理不同。在获取到不同视图下的渲染的3D人脸模型后，我们将它们从采样纹理的视图投影到不同的视图。例如，我们将从具有视图A中采样的纹理的3D模型投影到视图B中。然后，我们能够计算投影图像与目标视图上的输入图像之间的损失。值得注意的是，渲染层非参数但是可微分的，因此，梯度可以反向传播到可训练的层。