【论文汇总】最新的三维人脸重建相关方法汇总（沾点边的都算）

我目前重心放在单纯的重建上，不包括渲染，所以我看论文的重点都在重建方法上，别的可能就略过了

有别的好的文章可以留言推荐我一下❤

 

CVPR2021

1.High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation

核心是光照渲染，重建方法用的是DAM（Deep appearance models for face rendering.）

算了算了，数据要求苛刻，且不开源...

 

2.别的还没有放出来，再等等...

 

ECCV2020

1.Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

核心是细粒度（就是增加一些皱纹之类的，看起来更加逼真）

目前为止数据是开源的，代码还没有（估计也不会有了）

开源数据包括...

重建方法是基于UV map和GAN的（Nonlinear）

 

2.Eyeglasses 3D shape reconstruction from a single face image

核心是加了眼镜的模型

不是很关心，跳过

 

☆3.Inequality-Constrained and Robust 3D Face Model Fitting

核心是优化人脸形状受约束的问题，创造出更丰富的人脸形状

方法部分蛮少的，从实验结果看，眼睛部分的检测貌似还是一般般

 

4.JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling

核心是提出一种新的人脸模型表征方法

数据显然是不公开...

 

☆5.Learning to Generate Customized Dynamic 3D Facial Expressions

核心是重建的人脸可以做动态表情，且所有卷积针对的是mesh，而不是图片

训练集是公开数据集4DFAB

 

6.“Look Ma, no landmarks!” – Unsupervised, model-based dense face alignment

核心是无监督的重建（只需要mean face model），目前实验结果比有监督的还是差蛮多的（比3DDFA还要差很~~多）

这个题目也是没谁了...效果不咋滴且暂时对无监督不感兴趣，略过

 

☆7.Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting

同时完成带有表情的个性化人脸重建+跟踪，网络是基于视频的

训练集有两个1) VoxCeleb2  2) ExpressiveFaces.

看demo感觉效果是蛮好的，特别是嘴巴部分；但是眼睛的face model好像还是有点问题（样本不够多，看不是很清楚，不很确定）；对比实验的结果还不错的。

 

8.Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency

自监督、多视角图片、有源码

看视频demo感觉眉毛ok，但是眼睛依然不会动！

我暂时是做单图的，略过先

 

☆9.Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks

核心是generator生成texture和shape的同时生成法向量，有源码

看视频demo，表情还蛮好的，眼睛貌似也可以（不是很确定），但是...堆卡警告...

还是值得一看的

 

10.Towards Fast, Accurate and Stable 3D Dense Face Alignment

3DDFA的优化版，加入了帮助视频稳定的方法和优化拟合准确度的方法（作者表示优化方法的代码有点难实现）

开源了测试代码和训练好的模型，可以跑着玩，但是没办法自己训练

在所有人都用GAN、nonlinear的时候，作者还在坚持linear，赞（虽然nonlinear好发文章，但我认为在实际应用上linear的还是有很多优点的）

 

CVPR 2020

☆1.ReDA:Reinforced Differentiable Attribute for 3D Face Reconstruction

重建方法的优化核心是网络增加了一个额外求偏移量的分支，确保拟合更准确。别的点也有，我暂时不关心。

吐槽一下，不开源、demo太少，对比实验也少...idea新但是效果好不好真不好判断...

不过求偏移量这个是我好奇的点，可以多看一眼

 

2.Deep 3D Portrait from a Single Image

核心是头部姿态控制。挺酷的，先建模人脸+发型，然后抠图摆回去，用GAN补充剩余部分。

代码部分开源，只能跑个结果玩一玩，不能训练

而且其实不算重建吧...算是重建后的一个应用

 

3.Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

核心是利用对称性重建，无监督，不仅仅针对脸，开源

跳过

 

☆4.Uncertainty-Aware Mesh Decoder for High Fidelity 3D Face Reconstruction

（我关注的）核心是用了GNN和uncertainty 的loss来优化shape，满足更多形状的人脸

（我暂时不关注的）核心是用GAN生成高清texture

非线性，这样重建出来的model好像没办法控制啊...

 

5.RetinaFace: Single-shot Multi-level Face Localisation in the Wild

4个Tesla P40，卡也挺多的...

自己标注了数据集WIDER FACE的dense 3d model，但是好像没公开（找了一下没找到）

脸部细节还是不能捕捉（作者在补充文档提到了），那就算了吧，不看了（有点看不懂）

 

☆6.Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning

核心是对人脸做解缠的

暂时用不上，但是以后要多关注

 

☆--Attention-Driven Cropping for Very High Resolution Facial Landmark Detection

乱入一个2d特征点检测的，有参考性

 

7.Deep Facial Non-Rigid Multi-View Stereo

核心是利用多视图优化三维人脸，恢复细节

UV map（非线性）

训练集：Stirling/ESRC 3D face database 开源的，立马能搜到

 

8.DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation

输入是图像对，单目，表情估计

制作了数据集，据说要开源，但是一年了也没有

 

9.Learning Formation of Physically-Based Face Attributes

用了4000张高清扫描人脸，身份和表情完全解缠，提供低维特征向量控制面部

不看了，数据没找到开源的地方，而且文中用的别人的数据集都好贵哦，默默放弃

 

10.A Morphable Face Albedo Model

核心是rendering

开源哎 https://github.com/waps101/AlbedoMM

 

☆11.FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

开源哎 可以重点看一看 https://github.com/zhuhao-nju/facescape

核心是提供了数据集，且实现了表情控制算法

 

12.AvatarMe: Realistically Renderable 3D Facial Reconstruction “in-the-wild”

核心是高清纹理

 

13.Lightweight Photometric Stereo for Facial Details Recovery

核心是纹理恢复，开源

 

14.Cross-modal Deep Face Normals with Deactivable Skip Connections

核心是估计法向量，改善纹理细节

 

15.Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks

核心是基于GNN的面部纹理恢复