[CVPR2019]Towards High-fidelity Nonlinear 3D Face Morphable Model

标题:Towards High-fidelity Nonlinear 3D Face Morphable Model

链接:https://arxiv.org/pdf/1904.04933

本文主要的目的是从2D图像建立更加真实的3D人脸模型。

作者分析之前的模型之所以无法建立非常真实的3D人脸模型的一大原因是对模型加了太多的约束,因此作者考虑使用代理参数来避免这一点。另外,作者还对模型做了全局和局部的区分对待,这进一步加强了模型对细节重建的精度。

这是本文中对于代理参数部分的建模。

首先,那个绿色的epsilon就是一个非线性回归器,用来预测输入图片中的投影矩阵M,光照参数L,形状参数fs和反射率参数fa。其中形状参数和反射率参数会经过各自的编码器编码出对应的代理形状,真实形状,代理反射率 和真实反射率。作者对这些代理参数施加了各种乱七八糟的约束(反射率对称性约束,反射率一致性约束,形状平滑约束),而真实参数则没有这些约束。

由于模型最终提供了2组不同的形状和反射率参数,通过排列组合,我们能得到四个不同的渲染组合,都可以与输入图片做重构损失,分别能帮助模型提升不同方面的性能。但作者偏偏移除掉了真实形状参数和真实反射率参数的这个组合,作者说这是为了避免模型试图同时拟合真实和代理参数而导致两个都学不好。

另外,为了处理人脸的遮挡,作者使用了基于UV图的对称性损失。

这是本文中对于全局和局部的双路模型的建模。

对于全局建模很简单,就是直接做几次上采样,得到全局纹理图就好。

对于局部建模,就是将人脸划分为嘴巴双眼和鼻子,先分别生成,然后通过zero padding合并到图上,合并的位置是基于全局建模的对应位置来放的。

最后再将两个输出的图合并来生成最终的纹理图。 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值