【CVPR2023新作】高质量面部重建

NeRFAI

已于 2023-08-16 07:43:16 修改

阅读量177

点赞数

分类专栏： CVPR2023论文解读文章标签：人工智能机器学习深度学习计算机视觉算法

于 2023-08-13 16:43:47 首次发布

本文链接：https://blog.csdn.net/NeRFAI/article/details/132261220

版权

本文提出了一种名为层级表示网络（HRN）的方法，旨在解决面部重建中的细节恢复问题。通过几何分离、3D先验知识和多层次建模，HRN能实现高精度和详细的脸部重建。此外，该方法引入了去除修饰模块以解耦几何和外观，并通过多视图一致性损失提升重建一致性。实验表明，HRN在单视角和多视角面部重建任务上超越了现有技术，并伴随着新数据集FaceHD-100的发布，以推动高保真面部重建的研究。

摘要由CSDN通过智能技术生成

Title: A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction
Affiliation: DAMO Academy, Alibaba Group (阿里巴巴集团)
Authors: Biwen Lei, Jianqiang Ren, Mengyang Feng, Miaomiao Cui, Xuansong Xie
Keywords: Face reconstruction, Hierarchical representation network, 3D priors, Multiview
Summary:

(1): 本文研究的是高质量面部重建领域，该领域应用广泛，包括AR/VR、医疗等。
(2): 过去的方法主要基于3DMM模型，但由于其表现能力的限制，不能恢复面部的高频细节，即皱纹等。一些尝试通过引入细节地图或非线性操作来解决这个问题，但结果仍然不够逼真。因此，本文提出了一个新的层级表示网络（HRN），以实现高精度、详细的面部重建。具体来说，本文实现了几何分离和层次表示来实现详细面部建模，同时，还结合了面部细节的3D先验知识，以增强重建结果的准确性和真实性。本文还提出了去除修饰模块（de-retouching module）来实现几何和外观的更好解耦。同时，该框架可以通过考虑不同视图之间的详细一致性来扩展到多视图模式。实验结果表明，本文的方法在单视角和多视角的面部重建基准测试中，精度和视觉效果都优于现有方法，且可扩展到更广泛的场景中。最后，作者还介绍了一个高质量的3D面部数据集 FaceHD-100 以促进高保真