ICCV 2023｜单张人脸图像也能重建出3D细节？微软HiFace可以实现

本篇文章为大家介绍微软在 ICCV 2023 的论文，HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details（通过建模脸部静态动态细节重建高保真度三维人脸）。

论文链接：

https://arxiv.org/abs/2303.11225

项目主页：

https://project-hiface.github.io/

一张自拍照就能得到你的 3D 模型？答案是肯定的，过去的 3DMM 类的方法可以从单张图像重建可驱动的 3D 人脸，并且能够广泛应用到动画、虚拟现实等多个方面。

但是本文作者认为，仅仅有粗粒度的 3DMM 轮廓还远远不够逼真！能不能加上更多脸部细节让重建出来的 3D 模型更加逼真？毕竟谁会拒绝真假难辨的游戏人物。（狗头

作者研究发现，要想从单张图像里重建更多细节，并不简单，先前的研究只通过图像级监督无法充分解耦脸部的静态细节和动态细节，因此效果还不够理想。而本文作者认为，人脸细节通常由年龄、外貌相关的静态细节以及表情相关的动态细节共同构成。也就是说，在重建的时候，静态细节和动态细节应该分开考虑，否则很难达到理想的效果。

因此，本文通过提出 HiFace 来实现细粒度的三维人脸重建。如图 1 所示，作者设计了细节重建模块 SD-DeTail，用于显式解耦和建模脸部静态和动态细节。借助合成图像和真实图像构成的混合数据集，作者利用多个损失函数来联合学习粗粒度人脸形状和细粒度脸部细节，从而使 HiFace 能够从单张人脸图像中，重建具有可驱动细节的高保真度三维人脸。

▲ 图1：本文提出的 HiFace 能够通过给定的单张人脸图像（绿框）重建高保真的三维人脸。通过对脸部静态和动态细节进行建模，HiFace 能够将源图像（黄框）重建结果的表情及其静态、动态细节由驱动图像（绿框）进行驱动。