人脸论文解读系列——三维人脸重建（一）

最新推荐文章于 2024-08-20 09:15:29 发布

在下小陳

最新推荐文章于 2024-08-20 09:15:29 发布

阅读量6.1k

点赞数 2

分类专栏：三维人脸重建人脸论文文章标签：人脸重建论文解读

本文链接：https://blog.csdn.net/CWBARSA/article/details/89052285

版权

本文详细介绍了使用手机照片或视频进行三维人脸重建的方法，重点关注模型形状，适用于人脸识别。通过68个面部特征点提取，将人脸分为四个区域，计算最佳拟合模型并进行融合变形，同时探讨了SSIM和LBP等相似性度量在权重计算中的应用，最终创建带有纹理的3D人脸模型。

摘要由CSDN通过智能技术生成

基于区域最佳匹配融合的三维人脸重建

《3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media》

文章来源：researchgate

文章链接：https://arxiv.org/pdf/1801.01089.pdf

github：https://github.com/CWBARSA/face_Papers/blob/master/3D%20Face%20Reconstruction%20with%20Region%20Based%20Best%20Fit%20Blending.pdf

引用：Anbarjafari G , Haamer R E , Lusi I , et al. 3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media[J]. 2017.

该文章提出了一种新的方法，通过获取的手机照片或视频画面重建一个3D人脸模型。该方法更多地关注模型形状，以便用于人脸识别。检测68个面部特征点，并使用它们来分离人脸的四个区域。对于每个区域，找到最佳拟合模型，并进一步变形组合，以找到每个区域的最佳拟合模型。然后，将这些模型组合，并进一步变形，以恢复原来的面部比例。该文章还提出了一种对结果模型进行纹理化的方法，其中使用上述特征点为结果模型生成纹理。

一、方法流程

1、数据准备

（1）人脸数据库主要有由217个白种男性头部区域的3D扫描模型组成，这些扫描模型被变形和简化，因此所有扫描模型共享相同的顶点映射和计数。所有的纹理图也扭曲到拟合相同的UV贴图。在这一步骤中，从原始扫描中的头部后面的所有东西都被丢弃，包括头发和耳朵。在原始数据中，一些扫描包含面部毛发或严重的噪声/变形。然而，其余的区域通常不受影响。

初始三维模型：预处理模型包含6000个四边形面片组成的网格，和与之相应的2048×2048 分辨率的RGB纹理图。所有模型中顶点的索引是有序的，从模型到模型没有变化。
渲染模型：为了得到基于输入图像的每个区域模型的权重，制作了渲染人脸区域的辅助数据库。所有的模型都是使用透视相机以正面朝向绘制的，透视相机具有5个来自正面、侧面和顶部的定向光源，所有光源都指向头部的中心。然后将所绘制的图像切成4个部分，对应眼睛、鼻子、嘴部区域和脸部的其余部分。