3D【4】人脸重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

该论文主要是用CNN直接重建3D人脸,而不是预测3DMM模型的参数,网络结构是漏斗网络(
HG)。论文提出了三种方案,第一种是直接从图片重建,第二种是加入了人脸特征点,第三种是多任务(重建+人脸特征点预测)。效果最好的是第二种方法。

值得注意的是,该论文不是直接预测顶点的x、y、z坐标。而是将mesh转成voxel,变成一个192*192*200的矩阵。这样就比较适合CNN。我们先看看mesh和voxel的区别:下面的第一张图是mesh,可以看出就是一个曲面;第二张是voxel,可以看出人脸是由很多个立方体构成的。
mesh.png-72.4kB

binvox.png-48.9kB

作者给出了voxel转成obj的脚本,运行出来是这样的:
binvoxOBJ.png-179.6kB
这是一个封闭的曲面。这就有个问题了,由CNN预测出来的3D人脸的顶点是不固定的,也就是我们还需要进行一步对齐,将一个固定顶点的模板对齐到CNN预测出来的3D人脸。
mesh转voxel可以用binvox这个工具。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文的主要内容是介绍了一种基于单个图像的准确三维人脸重建方法,其采用了一种全面的方法来捕捉人脸的几何形状和纹理信息。 论文的作者 Aaron S. Jackson, Adrian Bulat, Vasileios Argyriou, Georgios Tzimiropoulos 提出了一个由两个主要组件组成的框架:3DMM(3D Morphable Model)回归器和姿态估计器。 首先,他们使用3DMM回归器来估计人脸的形状参数和纹理参数。这个回归器通过将人脸图像映射到3DMM参数空间,利用深度卷积神经网络(CNN)来预测人脸的三维形状和纹理参数。 然后,他们提出了一种姿态估计器来估计人脸的姿态参数。这个姿态估计器使用CNN来预测人脸的旋转和平移参数,以校正人脸的姿态。 最后,通过将形状参数、纹理参数和姿态参数结合起来,他们可以生成准确的三维人脸重建结果。 该方法在多个数据集上进行了实验评估,结果表明,与其他基准方法相比,该方法能够产生更准确和逼真的三维人脸重建结果。此外,该方法还具有一定的鲁棒性,对于具有不同姿态和光照条件的人脸图像也能取得良好的效果。 总的来说,《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文提出了一种综合性的方法,通过结合形状参数、纹理参数和姿态参数,实现了准确的三维人脸重建。这个方法在单个图像上能够生成高质量的三维人脸模型,对于人脸分析、虚拟现实等应用具有重要意义。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值