关于3DMM的思考

最新推荐文章于 2023-05-17 11:49:51 发布

live_for_myself

最新推荐文章于 2023-05-17 11:49:51 发布

阅读量3k

点赞数

分类专栏：论文阅读 3维人脸重建文章标签：计算机视觉机器学习 3dmm

本文链接：https://blog.csdn.net/landing_guy_/article/details/121802603

版权

论文阅读同时被 2 个专栏收录

39 篇文章 13 订阅

订阅专栏

3维人脸重建

29 篇文章 33 订阅

订阅专栏

文章目录

论文虽然讲了很多内容但是主要被参考的是fit的部分, 也就是从2d重建回3d

$\alpha \ \beta$ 的分布

在这个数据集中作者估计了两个参数的分布，我估计应该是直接用所有的 $\alpha$ $\beta$ 直接算出来的

在这里插入图片描述

其中 $σ_i$ 是形状协方差阵的特征值。满足多元正态分布。β同理

面部表情和面部特征

面部表情的系数是可以通过两种不同的情绪的人的3d model差得到
对于面部特征, 例如性别，面部丰满度，眉毛深色度，双下巴以及钩鼻和凹形鼻子, 这里可以给每个特征设置一个独特的函数 $\mu (S, T)$ , 用下面的函数来表示:

在这里插入图片描述

这里每个标签的 $\mu$ 不太一样, 作者想把这个 $\mu$ 纳入到一个统一的表达, 这里假定为线性函数, 对于整个人脸空间来说, 就只有一个优化的方向了, 这里通过上面的表达最小化一个方差归一化长度:

在这里插入图片描述

面法线和顶点法线

法线和顶点法线讲解

和图片进行配准

这个其实是论文中的理解的重点
从3d model到2d这个过程叫Rendering , 需要很多参数, 这里作者用 $\vec\rho$ 来表示, 这个向量包含了比如说相机位置, 物体大小, 旋转平移参数, 环境光RGB强度, 直接光照RGB强度(这里用directed light表示, 用在漫反射和镜面反射),
有些参数如相机距离, 光照方向, 反射度等按用户自己估计的来

论文和实现的不同

shading 翻译成着色, 在图形学中着色可以理解成对不同物体应用不同的材质，比如金属球，木球，它们和光线有不同的交互, 着色需要用到法线, 比如一个三角形我只用一个法线, 也可以说对三角形的每个像素都求个法线然后着色, 不同的着色方式就是不同的着色频率, 这个为啥用频率这个词呢? 因为在每个像素点上显示颜色本身就是对连续的图片的采样, 你用三角形的方式显示自然采样频率就低, 用像素的方式自然采样频率高.

原文中用的是Phone着色频率, face3d中是用的Gouraud shading, 这两种着色频率的区别是Phone是对每个像素求法线, 求出顶点的法线后对其余像素做插值求法线, 对每个像素进行着色

Gouraud shading 是求每个三角形的法线, 然后三角形中间的像素通过插值得到
投影得到的图片, 在原论文中说的是透视投影, 在face3d中用的是正交投影

公式

下面是投影得到的图

在这里插入图片描述

想让模型渲染图和输入图片的欧氏距离最小
在这里插入图片描述

根据贝叶斯定理，在考虑到输入图片中存在噪声的情况，引入高斯分布的标准误差 $\sigma_{N}$

在这里插入图片描述

一维高斯分布是下面的样子

在这里插入图片描述

因此最大化该后验概率可以转化为最小化以下代价函数：

在这里插入图片描述

这个E使用随机选择的3d model的表面点估计的, 对于每个三角形k, 颜色是根据光照模型得到的:

在这里插入图片描述

$l$ 是光照的方向， $v_{k}$ 是相机位置和三角形中心位置的正交化差值，$ r_{k} = 2(nl)n-l $是反射光的方向向量，$ s $表示表面的反射率，幂$ \nu$控制镜面反射的角分布。(其实这个就是一些光的反射, 只不过公式没用 $c o s$ 表示)如果存在阴影投影到一个三角形的中心位置的时候，以上公式可以化简为：

$I_{r, model, k} = i_{r, amb} \bar R_{k}$

对于高分辨的三维网格（即更密的三维网格）的时候，每个三角形之间的差异会变得很小，因此 $E_{I}$ 可以由以下的公式近似得到：

在这里插入图片描述

$a_k$ 是三角形k对应的图像区域(image area covered by triangle k)，如果被遮挡ak就是0, 在梯度下降中，mesh的不同三角形的回传梯度可能是多余的。于是每次计算的时候，从 $\kappa \subset ({1...n_{t}})$ 中随机取出子集共40个三角形进行计算， $E_I$ 被替换为: